Google Cloud Next 2026 — AIチップを「学習」と「推論」で分けた理由

2026年4月22日から開催されたGoogle Cloud Next '26で、第8世代TPUとして「TPU 8t」と「TPU 8i」の2種類が発表されたんだ。これまでのTPUは1種類だったのに、今回から「学習専用」と「推論専用」に分けたのが最大の特徴だよ。

AIモデルを作るときの「学習（トレーニング）」は、膨大なデータを何度も処理して重みを更新する作業。一方「推論」は完成したモデルに質問を投げかけて答えを返す作業だね。求められる処理の性質がまったく違うんだ。学習は大量の計算を並列に、推論は速いレスポンスが求められる。

比較してみよう。

項目	TPU 8t（学習用）	TPU 8i（推論用）
演算性能（FP4）	12.6 petaFLOPS	10.1 petaFLOPS
オンチップSRAM	128 MB	384 MB（前世代比3倍）
HBM容量	216 GB（6.5 TB/s）	288 GB（8.6 TB/s）
前世代比コスト効率	2.7倍向上	推論コスト80%改善

どちらも電力効率（ワットあたり性能）は前世代Ironwoodの約2倍だよ（Google公式発表、2026年4月）。

推論専用に3倍のオンチップSRAMを積んで、モデルの重みをなるべく外部メモリに取りに行かずに処理できるようにしてるんだ。さらに「Boardfly」という新しいネットワークトポロジーを採用して、チップ間の通信遅延を大幅に削減した。GeminiのようなLLMが答えを返すとき、遅延が小さいほどユーザー体験が上がるからね。

GPUは汎用的で優秀だけど、AI行列演算に特化した「シストリックアレイ」構造を持つTPUの方が、その用途に限れば効率が高いんだ。しかもGoogleはTPUをGoogle Cloud内で独占的に提供してるから、AWS・Azureとの差別化にもなる。TPU 8tと8iは2026年後半に一般提供開始予定で、まさにエージェントAI時代の基盤として位置づけられてるね。

そうだよ。GPT-4もGemini UltraもClaudeも、何万枚ものTPUやGPUで学習されてる。モデルの性能競争は、実はチップ開発競争でもあるんだ。Googleが学習と推論でチップを分けたことで、今後のAIサービスのコストと速度が大きく変わるかもしれないね。