Apache Spark とは？

大量のデータを複数のコンピュータに分散して、一斉に処理できるフレームワークだよ。例えば1TBのログデータを分析するとき、1台のPCだと何時間もかかるけど、Sparkなら100台に分散して数分で処理できるんだ。

Hadoopは処理の途中結果をディスクに書き出すから遅いんだ。Sparkはデータをメモリ上に保持して処理するから、同じ処理でも最大100倍速い場合があるよ。特に機械学習みたいに同じデータに何度もアクセスする処理では差が歴然だね。

Netflix（レコメンデーション）、Uber（リアルタイム料金計算）、Goldman Sachs（リスク分析）など、大量データを扱う企業で広く使われているよ。日本でもYahoo! JAPANやLINEなどが活用しているんだ。

PySpark というPython APIが用意されていて、pandasのような感覚でコードを書けるよ。しかも最近のバージョンではpandas APIも統合されて、pandas のコードをほぼそのままSpark上で分散実行できるようになったんだ。

フル機能を使いこなすのは確かに大変だけど、Spark SQLを使えばSQLを書くだけで分散処理ができるよ。Databricksというマネージドサービスを使えば環境構築も不要で、ノートブック上で対話的に分析できるんだ。最近はDatabricksがSpark開発の中心的存在になっているよ。