TPU とは？

GPUはもとゲーム用で、汎用の並列計算に使われるんだけど、TPUはGoogleが「AIの計算だけのために」作ったチップだよ。用途を絞った分、AIの処理に限っては効率がいい。

多次元の数値の配列のことだよ。ベクトル（1次元）、行列（2次元）、それ以上の次元を持つものをまとめてテンソルと呼ぶ。機械学習のデータや重みパラメータはほぼテンソルで表されるから、テンソル計算が速いTPUはAIに最適なんだ。

AlphaGoの開発中に「このままだとGPUが足りなくなる」ってなったのがきっかけで、Googleが自社で作り始めたんだ。自分で作れば電力効率もコストも自分でコントロールできるからね。今はGeminiなどのAIもTPUで動かしてるよ。

そこは結構深い話でね、学習は大量のパラメータを何度も更新するから高精度の浮動小数点演算が必要なんだ。でも推論（学習済みモデルで予測する）は精度を少し下げた低ビット演算でも問題ないことが多い。TPUはこの推論フェーズの「量子化」された演算に最適化されてて、消費電力あたりの性能が上がる。学習用と推論用でTPUのアーキテクチャも世代によって変わってるよ。