制約付きボルツマンマシン（RBM） とは？

元のボルツマンマシンは、ユニット同士がより自由につながれる分、学習に必要な統計を集めるのがとても大変だったんだ。それを「同じ層の中ではつながない」という制約で扱いやすくしたのがRBMだよ

可視層は入力データそのもの、たとえば画像のピクセル値が入る層だね。隠れ層はそのデータの裏にある特徴を表す層で、2つの層の間だけが重みでつながっているんだ。隠れ層どうしがつながっていないから、データを与えたときの隠れ層の状態を1つずつ独立に計算できるんだよ

今の画像や文章の生成AIでは別の方式が中心で、RBMを直接使う場面は少ないね。でも2006年ごろ、ヒントンたちはRBMを1層ずつ学習して積み重ねることで、深いネットワークの重みの良い初期値を作れることを示したんだ。深いネットワークを学習させる突破口の1つになった、歴史的に重要なモデルだよ

厳密に学習するには、ありうるすべての状態の組み合わせを足し合わせる計算が必要で、現実的じゃないんだ。そこで、ヒントンが2002年に提案した「コントラスティブ・ダイバージェンス（CD法）」という近似で学習するのが一般的だよ。データから隠れ層を計算し、そこから入力を少しだけ作り直して、元のデータとの違いで重みを更新するんだ