【エフピーフォー】
FP4(4ビット浮動小数点) とは?
最終更新:
💡 数値を小さく持ち、AIの計算を軽くする工夫
📌 このページのポイント
ペンギン先生、FP4って何なの?
小さく持つと何がうれしいの?
元の数値とずれてしまわないの?
表せる値が少ないから、近い値へ丸めるとずれが生じるよ。量子化は、こうした低精度の表現などへ変える処理なんだ。値のまとまりごとにスケールを持つ工夫などでずれを抑えるけれど、回答品質への影響はモデルと課題で評価しよう。
NVFP4やMXFP4も同じなの?
FP4ならスマホでも大きなAIが動く?
FP4だけでは決まらないよ。モデル全体のメモリ、対応する演算装置とソフト、速度や品質の条件も必要なんだ。特定の形式に対応しているかを確認し、使いたいモデルで測定して判断しよう。
📖 おまけ:英語の意味
「FP4(4-bit Floating Point)」 = 4ビット浮動小数点
💬 FPはFloating Pointの略で、4は数値の本体のビット数を表すよ。整数を表すINT4とは区別する言葉で、実際のデータにはスケールなどの情報が加わる場合もあるんだ。