GRPO とは？

同じ質問に対して、モデルが複数の回答を生成する。その回答に報酬を付け、グループ内でどれが良いかを基準に学習するよ。DeepSeekMathで提案された、言語モデル向けの強化学習手法なんだ。

採点の決め方によるよ。例えば正解を1、不正解を0と採点してもよい。元の手法では、各回答の報酬からグループの平均を引き、標準偏差で調整して、相対的な評価を作る。元の点数と、そこから作る評価を分けて考えよう。

言語モデルのPPOでは、価値を予測するCriticを学習する構成が使われる。GRPOはグループの報酬を基準にするので、その別の価値モデルを省けるんだ。ただし、回答の良し悪しを採点する仕組みまで不要になるわけではないよ。

回答を選んで保存するだけではなく、その評価を使ってモデルのパラメータを更新するよ。元の手法は更新の変化を抑える仕組みも組み合わせる。良い回答が出やすくなることを目指すけれど、必ず正解する保証ではないんだ。

報酬が正しさをうまく表していないと、点数だけを稼ぐ答え方を学ぶことがあるよ。DeepSeek-R1-Zeroでは、数学の正解や回答の形式などをルールで採点した。価値モデルを省いても複数の回答の生成・評価には計算が必要で、費用や効果は条件によるんだ。