最終更新:

TPUとは?CPU・GPUとの違いと行列計算の仕組み


TPUが担当する計算

ひよこ ひよこ
TPUってどんなチップ?
ペンギン先生 ペンギン先生
Googleが機械学習の計算に向けて設計したアクセラレーターだよ。特に大きな行列の演算を効率よく処理する。CPUが行うOSや一般のプログラム実行を、すべてTPUへ置き換えるものではないんだ。
ひよこ ひよこ
AIは全部行列の掛け算なの?
ペンギン先生 ペンギン先生
行列演算は大きな部分を占めるけれど、活性化、正規化、データの前処理、メモリへの読み書き、通信なども必要だよ。行列の計算だけ速くしても、ほかの処理が詰まれば全体は速くならないんだ。

積和演算を小さく見る

ひよこ ひよこ
ペンギン先生 ペンギン先生
積和演算をするユニットを格子状に並べ、データを隣へ渡しながら繰り返し使う構造だよ。計算のたびに遠いメモリから同じ値を取り直す回数を減らす狙いがある。配列の大きさや実装はTPUの世代で違うね。
ひよこ ひよこ
積和演算とは?
ペンギン先生 ペンギン先生
掛け算した結果を足し込む操作だよ。たとえば1×5と2×7を足すと19になる。行列積はこのような計算をたくさん行うので、データを供給しながら並列に処理できる回路が役立つんだ。
掛けて足す計算を、まとめて行う2行2列の行列積のうち左上の要素19を計算する。Aの1行目とBの1列目の値をそれぞれ掛けて足す。掛けて足す計算を、まとめて行うAの1行目 × Bの1列目Aの行12Bの列571 × 5 + 2 × 7 = 19結果の左上が19になる19224350
積和演算の小さな例です。TPU内部の演算器の数・配置・データ移動のタイミングを再現した図ではありません。

GPUと、使えるソフト

ひよこ ひよこ
GPUはAIに向いていないの?
ペンギン先生 ペンギン先生
そんなことはないよ。GPUにもAIの行列演算を高速化する機能があり、幅広い計算やライブラリで使われる。CPUのコア数、GPUの演算器数、TPUのMAC数は同じ単位ではないので、個数だけで性能を比べないでね。
ひよこ ひよこ
TPUはTensorFlow専用?
ペンギン先生 ペンギン先生
Cloud TPUではJAXやPyTorchなども利用できるよ。計算をXLAなどの対応した経路で実行するので、使うフレームワーク、演算、バージョンの対応を確認する。モデルのコードがあるだけで、変更なしにすべて動くわけではないんだ。

性能が出る条件と測定

ひよこ ひよこ
どんなモデルだと性能が出やすい?
ペンギン先生 ペンギン先生
大きな行列計算が中心で、十分な並列処理やバッチを使える場合が候補だね。小さい処理、頻繁な形状変更、対応しない演算、CPUとのデータ転送や入力待ちが多い処理では、期待ほど効率が出ないことがあるよ。
ひよこ ひよこ
TPUを選ぶとき何を測ればいい?
ペンギン先生 ペンギン先生
同じモデル品質を満たす条件で、処理時間、メモリ、入力や通信の待ち、費用を測る。最大演算性能だけでなく、コンパイル時間や実際の利用率も見るんだ。世代と提供リージョン、利用枠、対応ソフトも導入時に確認しよう。

行列積の小さな例

次の計算は、特定世代のTPU内部のタイミングを再現するものではなく、積和演算の例です。

A = [[1, 2],     B = [[5, 6],
     [3, 4]]          [7, 8]]

A × B = [[19, 22],
         [43, 50]]

左上は1×5 + 2×7 = 19、右上は1×6 + 2×8 = 22です。TPUの行列演算器は、このような積和演算を多数まとめて処理します。実際には数値形式、丸め誤差、メモリ配置なども関係します。

次の挑戦:右下の50を自分で求める

行列Aの2行目[3, 4]と、Bの2列目[6, 8]を取り出します。同じ位置を掛けて足すと、3×6 + 4×8 = 18 + 32 = 50です。左下ならBの1列目[5, 7]を使い、3×5 + 4×7 = 43になります。

行列積は、同じ位置どうしだけを掛ける要素ごとの積とは違います。小さい行列で「行と列を選んで掛けて足す」を追うと、たくさんの積和演算をまとめる理由も理解しやすくなります。この計算はTPU上で実行した測定ではありません。

CPU・GPU・TPUは役割で比較する

種類検討する場面確認する条件
CPU一般処理、前処理、小規模で分岐の多い処理並列化、メモリ、I/O
GPU多様な並列計算やAI処理対応ライブラリ、メモリ、モデル
TPU対応する大規模な行列中心の計算演算対応、形状・バッチ、入力・通信

TPUの行列演算に合わせて余白を足すパディングが発生すると、メモリや演算器を十分に活用できないことがあります。最適な形状やバッチの条件は世代と実装によって異なります。新世代のコード名や製造プロセスの噂を、確定仕様として選定根拠にしないでください。

参考資料

確認日:2026年10月16日。製品の仕様・料金・対応環境は導入時にも確認してください。