【すいろんこすと】

推論コスト とは?

最終更新:
💡 AIを使うたびの費用を、答えの品質と一緒に考える

学習済みAIを動かして予測や生成を行う費用。APIの利用料金と自分で動かす基盤の費用を分け、入出力量・実行条件・品質と費用の比較を説明します。

📌 このページのポイント
推論コスト:利用方法ごとに見るAPIを利用モデル・入出力量キャッシュの条件追加機能の料金自分で動かす計算機とメモリ稼働時間・電力運用する費用答えの品質・応答時間も一緒に比べる
APIの料金と自分で用意する基盤の費用を分けた例。モデルの大きさだけで費用や答えの品質が決まるという比較ではありません。
ひよこ ひよこ
推論コストは、AIの学習にかかるお金?
ペンギン先生 ペンギン先生
学習済みモデルを使って、予測や答えを出すときの費用だよ。APIサービスを使う場合の料金と、自分で計算機を動かす場合の費用は分けて考えよう。
ひよこ ひよこ
API料金は、質問一回で決まるの?
ペンギン先生 ペンギン先生
文章生成APIでは、入出力のトークン数と単価で計算するものがあるよ。Claude APIも入力と出力を分けている。モデルやキャッシュ、追加ツールなどで料金条件が違うので、公式の料金表を確認するんだ。
ひよこ ひよこ
無料で配られたモデルなら、動かす費用もゼロ?
ペンギン先生 ペンギン先生
モデルを入手する費用と、実行する計算機の費用は別だよ。必要なメモリや稼働時間も考える。クラウドを借りる場合は、使っていない時間も含めた契約条件が費用に影響するんだ。
ひよこ ひよこ
安くするには、どう考えればいい?
ペンギン先生 ペンギン先生
まず用途に必要な答えの品質と応答時間を決めて、候補を比べよう。入力を整理したり、対応するキャッシュや一括処理を使ったりする方法がある。量子化は数値の表し方を軽くする方法で、品質への影響も確かめて使うんだ。
ペンギン
まとめ:ざっくりこれだけ覚えればOK!
「推論コスト」って出てきたら「学習済みAIを動かして答えを得るための費用」と思えばだいたいOK!
📖 おまけ:英語の意味
「Inference Cost」 = 推論にかかる費用
💬 学習済みモデルを使う処理にかかる費用です。学習時の費用とは区別しますが、モデルの更新に伴う再学習が一度きりとは限りません。

参考資料

← 用語集にもどる