ハイパーパラメータチューニング とは？

モデルの重みなどは学習データを使って更新するもの。ハイパーパラメータは学習率やモデルの構成など、学習の進め方やモデルを決める設定だよ。人が設定することも、候補を自動で試して選ぶこともできるんだ。

グリッドサーチは指定した候補の全組み合わせ、ランダムサーチは決めた範囲からランダムに候補を選んで試すよ。ベイズ最適化は、過去の試行結果から性能を予測し、次に試す候補を選ぶ方法だね。どれも、常に最良の設定が見つかるとは限らないよ。

学習率5候補、バッチサイズ4候補、層数3候補なら60通りだよ。各候補を5分割交差検証で評価すると、候補の評価だけで300回の学習になる。最後に選んだ設定で再学習する場合もあるので、候補数と計算予算を一緒に考えよう。

交差検証でも保証はできないよ。同じ検証結果を見て何度も設定を選ぶと、その検証データに合わせすぎることがある。設定の選択には学習・検証用データを使い、最終評価用のテストデータは選択に使わず残しておこう。探索手順そのものを評価する方法には、内側で設定を選び、外側で評価する入れ子の交差検証もあるよ。

Optunaなどで候補の探索を自動化できるよ。ただし、何の指標を良くしたいか、どの範囲を探すか、何回まで試すかは決める必要がある。自動探索でも計算コストはかかるし、設定を選ぶ評価と最終評価を分けることは大切だね。