YARN（ヤーン） とは？

完全に別物だよ！Hadoop YARNは「Yet Another Resource Negotiator」の略で、Hadoopクラスタのリソースを管理するためのフレームワークなんだ。名前がかぶってるだけで、役割も技術領域もまったく違うよ

たとえば100台のサーバーでできたクラスタがあるとするよね。そこで「Sparkで集計したい」「MapReduceでログ解析したい」と複数のリクエストが来たとき、どのサーバーにどれだけのCPUとメモリを割り当てるかを決めるのがYARNの仕事なんだ。オフィスの会議室予約システムみたいなものだね

ResourceManager（RM）がクラスタ全体の資源を割り当て、各マシンのNodeManager（NM）がコンテナと資源使用量を管理するよ。アプリごとのApplicationMaster（AM）がRMに資源を要求し、NMと協調してタスクを実行・監視するんだ。

YARNのコンテナはCPUやメモリなどを割り当てた実行枠で、Dockerイメージ自体とは別の概念だよ。どのアプリにどれだけ割り当てるかは、選ぶスケジューラと設定によるんだ。

たとえばCapacitySchedulerのキューに上限を設定できるよ。割合で設定する場合、親キューに対して最大50%といった制限を指定できる。予約容量と最大容量は別なので、50%が常にそのまま割り当てられるわけではないんだ。