Apache Hive（ハイブ） とは？

HadoopはデータをHDFSに保存してMapReduceで処理する「基盤」で、HiveはそのHadoopの上で動く「SQLっぽいインターフェース」だよ。Hadoopに直接MapReduceプログラムを書くのは大変だけど、HiveならSQLに似たHiveQLで同じことができるんだ

ほぼそうだね。SELECT、WHERE、GROUP BY、JOINなど、おなじみのSQL構文がほとんど使えるよ。裏側でHiveが自動的にMapReduceやSparkのジョブに変換して実行してくれるから、分散処理の細かい仕組みを知らなくても大丈夫なんだ

一番の違いは「スキーマオンリード」という考え方だよ。通常のデータベースはデータ投入時にスキーマ（構造）を厳密にチェックするけど、Hiveはデータをまず保存して、読み出す時にスキーマを適用するんだ。だから生データをとりあえず貯めておいて、後から分析できるのが強みだよ

正直、リアルタイム処理は苦手なんだ。バッチ処理向けだから、1つのクエリに数分〜数十分かかることもある。「毎日夜中に昨日のログを集計する」みたいな定期バッチには強いけど、即座に結果が欲しい用途にはPrestoやImpalaのような別のツールが使われるよ

大企業のデータ基盤ではまだ現役で活躍しているよ。ただクラウド時代にはAmazon AthenaやBigQueryのようなサーバーレスサービスが同じ役割を果たすことも多い。実はAthenaの中身はPrestoベースで、Hiveメタストアと互換性があったりするんだ

そうなんだ。Hiveメタストアはテーブル定義を管理する仕組みで、SparkやPrestoなど他のエンジンからも共通で使えるデファクトスタンダードになっているよ。Hive自体は使わなくても、メタストアだけは活用している企業が多いんだ。裏方で生き続ける重要な技術だね