ドロップアウト とは？

逆説的だけど、精度が上がることが多いんだよ。特定のノードに依存しすぎることを防げるから。たとえばサッカーチームで特定の選手がいないと機能しない戦術は弱い。どの選手が欠けても機能する戦術の方が強いよね。それと同じ発想だよ。

よく使われるのは20〜50%で、問題やネットワークの大きさによって調整するよ。全部のノードを有効にした状態がベースラインで、そこから実験しながら決めることが多いね。

鋭いね。だからテスト時は残ったノードの重みに「1 - ドロップアウト率」を掛けてスケールを調整するんだ。学習時にドロップアウト率を掛けた逆数を重みに掛けておく「逆スケーリング」という方法を使う実装も多いよ。

テスト時は全ノードを有効にするから通常は変わらないけど、「MC Dropout（モンテカルロドロップアウト）」という面白い使い方があって、テスト時もドロップアウトをかけたまま何十回も推論して分散を見るんだ。この分散が「モデルの不確実性」の推定になる。「この予測には自信がある・ない」を数値で表せて、医療AIなど信頼性が重要な場面で使われる。ドロップアウトを正則化以外の目的で使う発想は、多くのエンジニアが知らない活用法なんだよ。