【トライトン(GPUげんご)】
Triton(GPU言語) とは?
公開:
💡 CUDAの難しさを半分にしたまま、GPUの速さを全部もらう言語
OpenAIが開発したGPUカーネル記述用のPython系DSL。CUDAより高レベルでありながらCUDAに匹敵する性能を発揮でき、PyTorchのカスタムオペレーターとして広く使われている。
📌 このページのポイント
ペンギン先生、TritonってCUDAとどう違うの?
PyTorchに統合されているってどういう意味?
Flash Attentionで使われているって聞いたけど、それって有名なの?
めちゃくちゃ有名だよ!LLMのAttentionの計算は元々メモリ転送がボトルネックだったんだけど、Flash AttentionはTritonで書かれた効率的なカーネルで、転送回数を劇的に減らして数倍速くしたんだ。今のGPT系モデルはほぼ全部使っているよ。
CUDAが書けなくてもTritonは使えるの?
これからTritonはもっと広まりそうなの?
📖 おまけ:英語の意味
「Triton」 = トライトン(ギリシャ神話の海神)
💬 OpenAIが開発したGPU向けプログラミング言語で、ギリシャ神話の海神トライトンから名前をとっているよ。深海(低レベルのハードウェア)と水面(高レベルのPython)をつなぐ存在というイメージかな。