Hadoop（ハドゥープ） とは？

データベースそのものではなく、複数のコンピューターで保存や処理を分担するソフトウェア群だ。大きなファイルを扱うHDFSや、並列処理のMapReduceなどを組み合わせる。SQLで問い合わせる仕組みと、保存・処理の基盤は区別しよう。

保存容量や処理を複数の機械へ分担し、規模を広げたり、故障に対応したりするためだ。数テラバイトだから必ず1台に入らない、という意味ではない。必要な性能や運用の手間に合う構成を考える。

Apacheが挙げる主要モジュールは四つある。共通機能のHadoop Common、分散ファイルシステムのHDFS、資源管理とジョブのスケジューリングを担うYARN、YARN上で動く並列処理のMapReduceだ。保存と計算と資源管理を分けて覚えよう。

複製して保存する方式では、ファイルをブロックに分け、複製数を設定できる。3は既定の複製数だけれど固定ではない。消失訂正符号を使って冗長性を持たせる方式もある。冗長化があっても、あらゆる損失を防ぐ保証やバックアップの代わりにはならない。

例えば単語の回数なら、Mapが入力から単語と1の組を作る。その結果を単語ごとに集めて並べるshuffleとsortを経て、Reduceが値を合計する。Mapそのものがファイルを分割するわけではなく、入力の分割と並列実行はフレームワークが支えるんだ。

Sparkは別の処理エンジンで、YARN上でも動かせる。Hadoop全体がSparkに置き換わるという意味ではない。HDFSなどの保存、YARNなどの資源管理、MapReduceやSparkなどの処理を分け、互換性と処理の条件を確認しよう。