用語集 › 🤖 AI › LLMベンチマーク
【えるえるえむべんちまーく】

LLMベンチマーク とは？

💡 AIの偏差値、どのモデルが賢いか数字で比べる通信簿
📌 このページのポイント
LLMベンチマークの種類と評価 MMLU 知識(57科目) HumanEval コーディング GSM8K 数学 Chatbot Arena 人間評価 モデル別スコア比較 モデルA 92% モデルB 85% モデルC 78% 注意: ベンチマーク汚染・実用性との乖離 スコアが高くても実際の使い心地が良いとは限らない
LLMベンチマークのイメージ
ひよこ ひよこ

LLMベンチマークって、AIのテストみたいなものかな？

ペンギン先生 ペンギン先生

そうだよ。いろんなAIモデルを同じ問題で評価して、どれが優秀か数字で比較するんだ。人間の模試やテストと同じ発想だね

ひよこ ひよこ

どんな種類のテストがあるの？

ペンギン先生 ペンギン先生

MMLUは57科目の知識テスト、HumanEvalはプログラミング能力、GSM8Kは数学の文章題、MATHはより高度な数学といった具合に、いろんな能力を測るテストがあるよ

ひよこ ひよこ

スコアが高ければいいAIってこと？

ペンギン先生 ペンギン先生

一概にそうとは言えないんだ。テストの成績が良くても実際の使い心地が悪いこともあるし、テストデータで学習してしまうベンチマーク汚染という問題もあるよ

ひよこ ひよこ

じゃあどうやって判断すればいいのかな？

ペンギン先生 ペンギン先生

最近はChatbot Arenaのように、人間がAI同士を直接比較する評価方法や、SWE-benchのように実践的なタスクで測る方法が注目されているよ。複数の指標を総合的に見ることが大事だね

ペンギン
まとめ：ざっくりこれだけ覚えればOK！
「LLMベンチマーク」って出てきたら「AIモデルの性能を測る共通テスト」と思えればだいたいOK！
📖 おまけ：英語の意味
「Large Language Model Benchmark」 ＝ 大規模言語モデルのベンチマーク
💬 ベンチマークはもともと測量の基準点のことで、性能比較の基準という意味で使われるようになったんだよ
🔗 あわせて読みたい
← 用語集にもどる