【えるえるえむべんちまーく】
LLMベンチマーク とは？
最終更新:
💡 問題と条件をそろえて、得意・不得意を測る
LLMや、それを使うシステムの能力を、問題・採点方法・実行条件を定めて評価する仕組み。知識の正答率、コードのテスト通過、人による回答の好みなどは別の指標です。スコアだけで全用途の優劣を決めず、条件と実際の用途を確かめます。
📌 このページのポイント
ペンギン先生 決めた課題と条件で能力を測る仕組みだよ。1つの数値で人間の知能や全用途の良さを表すものではない。何を解かせ、どう採点したかを先に見るんだ。
ひよこ どんな種類がある？
ペンギン先生 MMLUは57分野の問題を使って知識や問題解決を評価する。HumanEvalは生成したコードをテストで確かめ、pass@1などの指標を使う。回答の選択とコード実行では採点方法も違うので、異なる指標の数字をそのまま比較しないでね。
ひよこ 実際の開発に近いテストは？
ペンギン先生 ひよこ 人が選ぶ評価なら正確さが分かる？
ペンギン先生 Chatbot Arenaの研究では、回答を並べて人が好む方を選ぶ比較を使う。好みは読みやすさや指示への従い方にも関わるので、事実の正しさをすべて保証する採点ではないよ。何を測った指標かを区別しよう。
ひよこ ランキングの1位を選べばよい？
ペンギン先生 データの版、モデルの版、入力の例示、試行回数、ツールや予算を確かめよう。HumanEvalのpass@1とpass@10など、試せる回数が異なる数値も同じ条件とはいえない。僅かな差が偶然でないか、測定の幅や対象問題数も見るんだ。
ひよこ 自分の用途ではどう選ぶ？
ペンギン先生 公開問題が学習データへ混ざるベンチマーク汚染などの限界を考え、自分の代表的な課題でも確かめよう。期待する答えや失敗の条件を用意し、正確さだけでなく費用・速度・扱える情報も見る。評価用の非公開情報を外部へ送る場合は取り扱いを決めておこう。
もっと詳しく知りたい人へ
高スコアなら間違いはなくなる？
測った問題での結果であり、未知の質問や別の言語・分野での正確さまで保証しません。重要な事実は出典を確認し、用途に合わせた評価を継続してください。
📖 おまけ：英語の意味
「Large Language Model Benchmark」 ＝ 大規模言語モデルの評価基準・テスト
💬 評価する課題と採点方法を定め、比較の基準にします。モデル単体の評価か、ツールを含むシステムの評価かも確認します。