【エフピーフォー】

FP4(4ビット浮動小数点) とは?

最終更新:
💡 数値を小さく持ち、AIの計算を軽くする工夫
📌 このページのポイント
FP4:数値の本体を4ビットで持つ例:E2M1の4ビット0101符号1指数2仮数1表せる数値は限られるまとまりごとにスケールを共有値1値2…共有スケールMXFP4・NVFP4など速さ・メモリ・品質は実装で確認
E2M1のビット配置の例です。形式ごとにスケールの持ち方が異なり、4ビットだけで全データを持つとは限りません。
ひよこ ひよこ
ペンギン先生、FP4って何なの?
ペンギン先生 ペンギン先生
数値を4ビットで表す浮動小数点形式だよ。ビットは0か1を表す情報の単位で、4ビットでは16通りの符号を持てる。ただし表せる数の配置は形式によって決まり、細かい数値を自由に表せるわけではないんだ。
ひよこ ひよこ
小さく持つと何がうれしいの?
ペンギン先生 ペンギン先生
数値の本体に必要なメモリや、転送するデータ量を減らせるよ。対応するハードウェアと処理なら、高速化につながる場合もある。ただしスケールの情報や、ほかの精度で持つ部分もあるので、モデル全体の使用量が単純なビット数の比になるとは限らないんだ。
ひよこ ひよこ
元の数値とずれてしまわないの?
ペンギン先生 ペンギン先生
表せる値が少ないから、近い値へ丸めるとずれが生じるよ。量子化は、こうした低精度の表現などへ変える処理なんだ。値のまとまりごとにスケールを持つ工夫などでずれを抑えるけれど、回答品質への影響はモデルと課題で評価しよう。
ひよこ ひよこ
NVFP4やMXFP4も同じなの?
ペンギン先生 ペンギン先生
どちらも4ビットの値と共有スケールを使うけれど、スケールの形式や共有するまとまりなどが違うよ。NVFP4では符号1・指数2・仮数1ビットのE2M1を使い、さらにスケールを組み合わせて数値を表すんだ。
ひよこ ひよこ
FP4ならスマホでも大きなAIが動く?
ペンギン先生 ペンギン先生
FP4だけでは決まらないよ。モデル全体のメモリ、対応する演算装置とソフト、速度や品質の条件も必要なんだ。特定の形式に対応しているかを確認し、使いたいモデルで測定して判断しよう。
ペンギン
まとめ:ざっくりこれだけ覚えればOK!
「FP4」って出てきたら「数値を4ビットで小さく持つ浮動小数点形式」と思えばだいたいOK!
📖 おまけ:英語の意味
「FP4(4-bit Floating Point)」 = 4ビット浮動小数点
💬 FPはFloating Pointの略で、4は数値の本体のビット数を表すよ。整数を表すINT4とは区別する言葉で、実際のデータにはスケールなどの情報が加わる場合もあるんだ。

参考資料

← 用語集にもどる