ソフトマックス関数 とは？

例えばモデルが「猫: 5.0、犬: 2.0、鳥: 1.0」という生の数値（ロジット）を出力したとする。ソフトマックスを通すと「猫: 93.6%、犬: 4.7%、鳥: 1.7%」みたいに合計100%の確率に変換されるんだ。「一番可能性が高いのは猫」と分かりやすく判断できるようになるよ。

シグモイドは1つの値を0～1に変換するから「はい/いいえ」の2択向き。ソフトマックスは複数の値をまとめて確率分布に変換するから「猫/犬/鳥のどれ？」みたいな多択向き。2クラス分類ならシグモイド、3クラス以上ならソフトマックスを使うのが基本だよ。

そうだよ。Transformerの注意機構（Attention）では、各単語がどの単語にどれだけ注目すべきかをソフトマックスで確率化するんだ。「この単語に80%注目、あの単語に15%注目……」みたいにね。GPTやBERTの内部でも大活躍している基本的な関数だよ。

ソフトマックスの式の中に温度パラメータTを入れると、確率分布の「とがり具合」を調整できるんだ。Tが小さいと確率が最大の候補に集中して、Tが大きいと各候補の確率が均等に近づく。実はAIのTemperatureパラメータの正体は、このソフトマックスの温度を調整しているんだよ。

鋭い質問だね。e^xの計算は入力が大きいとオーバーフローを起こす。たとえばe^1000は計算できないよね。実装上は入力の最大値を引いてから計算するトリックを使う。log-sum-expという安定化テクニックで、フレームワークは内部的にこの処理をしているから普段は意識しなくていいけど、自分で実装するときには必須の知識だよ。