YARN（ヤーン） とは？

完全に別物だよ！Hadoop YARNは「Yet Another Resource Negotiator」の略で、Hadoopクラスタのリソースを管理するためのフレームワークなんだ。名前がかぶってるだけで、役割も技術領域もまったく違うよ

たとえば100台のサーバーでできたクラスタがあるとするよね。そこで「Sparkで集計したい」「MapReduceでログ解析したい」と複数のリクエストが来たとき、どのサーバーにどれだけのCPUとメモリを割り当てるかを決めるのがYARNの仕事なんだ。オフィスの会議室予約システムみたいなものだね

そうそう。YARNが登場する前のHadoopでは、MapReduceがリソース管理も処理実行も全部やっていたんだ。でもそれだとMapReduce以外の処理が動かせなかった。YARNがリソース管理を切り出したことで、Spark、Flink、Tezなど色んなフレームワークを同じクラスタで同時に動かせるようになったんだよ

大きく2つの役割があるよ。まず「ResourceManager」がクラスタ全体の司令塔として、どのジョブにどれだけリソースを割り当てるかを決める。次に各サーバーにいる「NodeManager」が、自分のマシンのCPUやメモリを監視して、ResourceManagerの指示どおりにコンテナを起動するんだ

いい質問だね。YARNのコンテナはDockerコンテナとは別で、「CPUいくつ、メモリいくら」というリソースの枠のことを指すんだ。アプリケーションはこの枠の中で実行される。ただ最近のYARNはDockerコンテナ上でタスクを動かす機能も追加されているよ

鋭いところを突くね。確かにKubernetesの普及でYARNの立ち位置は変わりつつあるよ。クラウド環境ではEMRやDataprocがYARNを内部で使いつつ抽象化してくれるし、Spark on Kubernetesのように直接Kubernetesで動かすパターンも増えている。でもオンプレミスの大規模Hadoopクラスタではまだまだ現役だし、YARNのキャパシティスケジューラはマルチテナント環境でのリソース配分に強みがあるんだよ

そうだね。特にYARNのキューベースのリソース管理は、部署ごとに「最大50%まで使える」みたいな制限をかけられるから、大企業のデータ基盤ではとても重宝されているんだ。Hadoopを理解するうえでYARNは欠かせない存在だよ