ガウス過程 とは？

関数の値を確率的に扱うモデルだよ。どの有限個の入力を選んでも、その点での値が同時に多変量正規分布に従うという性質がある。機械学習では、回帰の予測などに使えるんだ。

ガウス過程回帰では、観測したデータから予測分布を求め、平均とばらつきで表せるよ。不確実性を示す方法は他のモデルにもあるので、ガウス過程だけの特徴というわけではないんだ。

観測から離れた領域で不確実性が大きくなる例はあるよ。ただし、幅はデータの数だけでは決まらない。点同士の関係を表すカーネルや、観測ノイズの仮定も関係する。平均に近い結果が必ず得られる、という保証ではないんだ。

ベイズ最適化で、調べたい関数の代理モデルにする方法があるよ。たとえばハイパーパラメータを変えた結果をモデル化し、予測の平均や不確実性から次に試す設定を選ぶ。すべてのベイズ最適化がガウス過程を使うわけではないんだ。

平均関数と共分散関数でガウス過程を定めるよ。共分散関数はカーネルとも呼ばれ、近い入力がどれくらい似た値になりそうか、などの仮定を表す。回帰ではノイズも考え、仮定とデータに基づく予測として結果を読むんだ。