【そうはつのうりょく】
創発能力 とは？
最終更新:
💡 規模の違いで、課題の成績が急に伸びて見える
大規模言語モデルなどの規模を変えて比べると、小規模モデルでは低かった課題の成績が急に伸びることとして報告された能力。見え方は評価指標や測定条件にも左右される。
📌 このページのポイント
- 異なる規模のモデルを比べ、課題の成績の変化を調べる
- 2022年の論文では、少数の例を示す算術課題などが報告された
- 小規模モデルの成績から、大規模モデルの成績を推測しにくい場合がある
- 採点方法によって急な伸びに見える場合もあり、共通の閾値が決まっているわけではない
ひよこ AIがある日突然、新しいことを覚えるの？
ペンギン先生 ここでは、学習済みの異なる規模のモデルを比べたときの話だよ。使っている一つのモデルが、その場で勝手に学習するという意味ではない。2022年の論文では、小さいモデルの成績から予測しにくい急な向上を創発能力として説明しているんだ
ひよこ どんな能力が報告されたの？
ペンギン先生 例えば、少数の例を入力に示して解かせる3桁の足し算や引き算などだよ。ただし特定のモデルや課題での報告で、どのモデルも同じ規模で急に解けるとは限らない。学習データや課題の提示方法などの条件も関係するんだ
ひよこ どうして急に伸びるの？
ペンギン先生 採点方法が関わる場合があるよ。答えの全てが一致した場合だけ正解にすると、少しずつ間違いが減っていても、成績が急に伸びたように見えることがある。2023年の論文は、同じモデルの出力でも評価指標を変えると、伸び方の見え方が変わる例を示しているんだ
ひよこ じゃあ、創発能力は全部錯覚なの？
ペンギン先生 その論文も、創発が絶対に起きないと証明したわけではないよ。調べた成績の急変について、評価方法から説明できる場合を示したんだ。「能力が物理的な閾値で必ず出現する」とも、「全部が錯覚」とも決めつけず、指標や課題を確かめよう
ひよこ モデルを大きくすれば、必ず新しい能力が出る？
ペンギン先生 規模だけでは決まらないよ。データの質やモデルの設計、課題なども成績に関わる。全問正解かどうかだけでなく、途中の誤りや別の採点方法でも評価すると、何が改善し、何がまだできないかを理解しやすくなるんだ
まとめ：ざっくりこれだけ覚えればOK！
「創発能力」って出てきたら「モデルの規模を変えると、課題の成績が急に伸びるように見える能力」と思えばだいたいOK！
📖 おまけ：英語の意味
「Emergent Ability」 ＝ 創発的な能力
💬 Emergentは「現れてくる」という意味だよ。複雑系で使われる創発の考え方に由来する表現で、大規模言語モデルの研究では、モデルの規模と課題の成績の関係を説明するために使われたんだ