【みくすちゃーおぶえきすぱーつ】
Mixture of Experts（MoE） とは？
💡 「全員動員」ではなく「適任者だけ」が仕事するAI組織
📌 このページのポイント
ひよこ ペンギン先生、「MoE」ってよく聞くけど、どんな仕組みなの？
ひよこ 専門家を選ぶって、どうやって判断するの？
ペンギン先生 「ゲートネットワーク（ルーター）」というAIが判断するんだ。「この質問は数学専門家と言語専門家を使おう」みたいに、ふつう全専門家の中から2〜4つだけを選択して使うよ。
ひよこ なんで全部使わないの？
ペンギン先生 計算コストを減らすためだよ！仮に8つの専門家がいても、毎回2つしか使わなければコストは全体の25%で済む。でも「知識の量」は8人分持てる。これがMoEの魔法なんだ。
ひよこ GPT-4もMoEを使ってるって聞いたんだけど本当なの？
ペンギン先生 ひよこ MoEって欠点はないの？
ペンギン先生 全専門家をメモリに読み込む必要があるから、メモリ使用量は多くなる。あと専門家の選択がうまくいかないと「特定の専門家ばかりに仕事が集中する」負荷偏りの問題も起きやすいんだよ。
まとめ：ざっくりこれだけ覚えればOK！
「MoE」って出てきたら「専門家チームを状況に応じて使い分けるAIの仕組み」と思えばOK！
📖 おまけ：英語の意味
「Mixture of Experts」 ＝ 専門家の混合
💬 複数の「Expert（専門家）」を「Mixture（混合・組み合わせ）」して使う、という意味だよ