グリッドサーチ とは？

機械学習モデルの設定値（ハイパーパラメータ）の最適な組み合わせを探す方法だよ。たとえば「学習率は0.01, 0.1, 1のどれがいい？」「木の深さは3, 5, 10のどれがいい？」という候補を全パターン試すんだ。3つ x 3つなら9通りを全部やってみるということだね。

その通り！パラメータが2種類で各3候補なら9通りだけど、5種類で各5候補なら3,125通りになるよ。さらに交差検証で5分割すると15,625回もモデルを訓練することになる。これが「次元の呪い」と呼ばれる問題で、グリッドサーチの最大の弱点なんだ。

ランダムサーチという方法があるよ。全組み合わせではなくランダムに選んだ組み合わせだけを試すんだ。実は研究で「グリッドサーチと同等の精度をもっと少ない試行回数で達成できる」ことが示されているよ。ベイズ最適化はさらに賢くて、過去の結果から次に試す値を推測してくれるんだ。

いやいや、まだまだ現役だよ。パラメータが少ないモデルや、候補値の範囲がある程度絞れている場合は確実性が高くて信頼できるんだ。scikit-learnのGridSearchCVのように簡単に使えるライブラリもあるし、まず粗いグリッドサーチで大まかな範囲を見つけて、そこを細かくサーチする二段階戦略もよく使われるよ。

特定のデータ分割にたまたまハマっただけの設定を選んでしまうのを防ぐためだよ。交差検証でデータを何回か分け直して平均スコアを使えば、安定して高性能な組み合わせを選べるんだ。GridSearchCVの「CV」は交差検証（Cross-Validation）の略で、グリッドサーチと交差検証はセットで使うのが基本だよ。