シャーディング とは？

1台のサーバーで扱えるデータ量には限界があるから、複数のサーバーに分けるんだ。例えば10億人のユーザーデータがあったとき、1〜3億人用サーバー、3〜6億人用サーバー、6〜10億人用サーバーって分けることで、どのサーバーも負担が3分の1になる。

どのデータをどのサーバーに入れるかを決める「振り分けの基準」がシャードキーだよ。ユーザーIDの範囲で分けたり、ハッシュ値で分けたり。これが偏ると「ホットスポット」（特定のサーバーだけ負荷集中）が起きるから、均等に分散するキーの選択がとても重要なんだ。

レプリケーションは「同じデータを複数のサーバーにコピーする」もので、可用性と読み込み性能向上が目的。シャーディングは「データを分割して別々のサーバーに入れる」もので、データ容量と書き込み性能の拡張が目的。実際のシステムはこの2つを組み合わせて使うことが多いよ。

シャードをまたぐ「クロスシャードクエリ」が一番の問題でね、「全ユーザーの合計金額」みたいなクエリはすべてのシャードにアクセスして集計しないといけない。RDBならJOINで簡単にできることが、シャーディングするとアプリ側での集計ロジックが必要になる。あとシャード間のトランザクション（分散トランザクション）も難しくて、2フェーズコミットなどの複雑な仕組みが必要になる。「スケールできるけど複雑さとの戦い」がシャーディングの本質だよ。