Hadoop（ハドゥープ） とは？

Hadoopは、1台のサーバーでは処理しきれないような大量のデータを、たくさんのサーバーで手分けして保存・処理するためのフレームワークだよ。Googleが論文で発表した分散処理の仕組みをオープンソースで実現したものなんだ

たとえばSNSの投稿データが1日で数テラバイトも生まれるような世界だと、1台のサーバーのディスクにも収まらないし、処理速度も追いつかないんだ。Hadoopなら数百台、数千台のサーバーを束ねて一つの巨大なストレージ＆計算機として使えるんだよ

大きく3つのコンポーネントがあるよ。データを分散保存するHDFS、データを並列処理するMapReduce、そしてクラスタのリソースを管理するYARN。HDFSがデータを3重コピーで保存するから、サーバーが壊れてもデータが失われにくいんだ

名前の通り「Map（分割して処理）」と「Reduce（結果を集約）」の2段階で動くよ。たとえば10億行のログから単語の出現回数を数えるとき、Mapで各サーバーが担当分を数えて、Reduceで全サーバーの結果を合計するイメージだね

いいところに気づいたね。MapReduceはディスクベースで処理するから遅いんだ。Sparkはメモリ上で処理するから数十倍速い場合もある。だから今はHDFSとYARNは使いつつ、処理エンジンはSparkに置き換えるパターンが主流だよ

コア技術としては成熟期に入っているね。クラウド時代にはAmazon S3のようなオブジェクトストレージがHDFSの代わりになることも多い。でもHadoopエコシステム（Hive、HBase、Pigなど）は今でも多くの企業で動いていて、データ基盤の土台として重要な存在だよ

そうだね。Hadoopは単体よりも「Hadoopエコシステム」として捉えるのがポイントだよ。ビッグデータの歴史を語るうえで避けて通れない技術だから、仕組みの基本を押さえておくと周辺ツールの理解もグッと深まるよ