ハイパーパラメータ とは？

パラメータ（重みやバイアス）はモデルが学習中に自動で調整する値。ハイパーパラメータは学習を始める前に人間が設定する値だよ。料理に例えると、パラメータは「味付けの調整」でAIがやること、ハイパーパラメータは「火加減や調理時間」で人間が決めることだね。

モデルが一度の更新でどれだけ大きく重みを変えるかを決める値だよ。大きすぎると最適な値を飛び越えてしまい、小さすぎると学習が遅くなるか局所的な最適解に引っかかる。ハイパーパラメータの中でも特に重要な設定値なんだ。

代表的な方法は3つあるよ。グリッドサーチは候補値の全組み合わせを試す総当たり方式。ランダムサーチはランダムに値を選んで試す方法で、意外と効率がいい。ベイズ最適化は過去の結果から次に試すべき値を賢く選ぶ方法で、少ない試行で良い値を見つけやすいんだ。

学習が全然進まなかったり、逆に過学習（訓練データだけに特化して新しいデータに対応できない状態）になったりするよ。学習率が大きすぎると損失が発散して「NaN」が大量発生、小さすぎると何日学習しても精度が上がらないということが起きるんだ。

そのとおり！AutoML（Google Cloud AutoML、AWS SageMaker Autopilotなど）はモデルの選択からハイパーパラメータの最適化まで自動でやってくれる。ただしブラックボックスになりがちで、なぜその設定が最適なのか理解しにくいデメリットもある。プロのMLエンジニアはAutoMLの結果を参考にしつつ、ドメイン知識で微調整するアプローチを取ることが多いよ。