【えすだぶりゅーいーべんち】
SWE-bench とは？
最終更新:
💡 実際のリポジトリの課題を、AIが修正できるか測る
実際のGitHubの課題とコードを使い、AIが課題を解決するパッチを作れるかを評価するベンチマーク。指定した環境とテストで解決率を測る。原版やVerifiedなどがあり、問題集合や評価条件を区別して読む必要がある。
📌 このページのポイント
ひよこ 短いプログラムを書かせる問題？
ペンギン先生 実際のリポジトリのコードと課題の説明を渡し、解決するパッチを作らせるよ。関数やファイルをまたぐ変更が必要な場合もあり、単独の関数を生成する問題とは違うんだ。
ひよこ 何問あるの？
ペンギン先生 ひよこ 直せたかはどう決める？
ペンギン先生 パッチを適用し、評価用の環境でテストを実行するよ。解決率は、その評価で解決と判定された課題の割合だね。人の元の修正と文字単位で一致するかだけを調べるものではないんだ。
ひよこ 解決率が高いモデルなら、そのまま比較できる？
ペンギン先生 同じ版・問題集合か、どのモデルやエージェントが使ったツール・実行環境かを確認するよ。モデルだけでなく、作業の進め方や条件も結果に関わる。評価日と条件を併記して比べるんだ。
ひよこ 合格したら、実際の開発も全部任せて大丈夫？
📖 おまけ：英語の意味
「SWE-bench」 ＝ ソフトウェア工学のベンチマーク
💬 SWEはSoftware Engineering、benchはbenchmarkを表す名前だよ。実際のGitHubの課題を使って、コードを修正する能力を評価するんだ。