ソフトマックス関数 とは？

たとえば候補A・B・Cのスコアが2・1・0なら、そのままでは確率として読めないよ。Softmaxで変換すると約66.5%・24.5%・9.0%になり、合計100%の分布になる。どの候補に大きい割合が割り当てられたかを比較できるんだ。これは計算例で、モデルが現実にその確率で正解することを保証する数字ではないよ。

その前に、各スコアxをeのx乗、つまりexp(x)に変えるんだ。その値を全候補のexpの合計で割るよ。元のスコアが負でも扱え、スコアの大小の順番は保たれる。有限の実数を数学的に計算した場合、各結果は0より大きく1より小さくなり、合計が1になるんだ。

2択にもSoftmaxは使えるよ。大事なのは、出力をどう表すかだね。1つの候補を選ぶ分類では、Softmaxで候補全体を合計1にできる。一方、1つのスコアから2択を表す場合などにはシグモイドを使う。複数のラベルが同時に当てはまる分類では、各ラベルにシグモイドを使う方法があり、その合計は1に限らないんだ。

注意機構では、ほかの位置との関係を表すスコアをSoftmaxで重みにするよ。その重みで情報を混ぜ合わせるんだ。次のトークンを予測する出力でも使われるけれど、注意の重みと次のトークンの確率は役割が違う。温度を使う形では、正の温度Tでスコアを割ってから変換し、小さいTでは高いスコアに集中しやすく、大きいTでは均等に近づくよ。

expの結果がコンピューターで表せる範囲を超えることがあるよ。全スコアから同じ最大値を引いてから計算すると、数学的には分布を変えずにオーバーフローを避けられる。SciPyの実装もこのようなシフトを使うんだ。実際の浮動小数点計算では、丸めやとても小さい値の扱いにも注意しよう。