自己教師あり学習 とは？

そうなんだ！たとえば文章の中の一部の単語を隠して「ここに何が入る？」って自分で問題を作るんだよ。答えは元の文章にあるから、人間がわざわざラベルを付けなくても学習できるんだ。

教師あり学習は「この画像は猫です」みたいに人間が正解ラベルを用意する必要があるよね。自己教師あり学習はデータ自体から問題と答えを作るから、ラベル付けの手間がかからないんだ。インターネット上の大量のテキストをそのまま使えるのが強みだね。

まさにそうだよ！BERTは文中の単語をマスクして「何が隠されてる？」を当てる学習をするし、GPTは「次に来る単語は何？」を予測する学習をするんだ。どちらも自己教師あり学習の代表例で、大量のテキストから言語の知識を身につけているんだよ。

違うんだ。教師なし学習はクラスタリングや次元削減のように「データの構造を発見する」のが目的。自己教師あり学習はデータ自体から疑似的な教師信号を作って「表現を学ぶ」のが目的だよ。結果的に汎用的な特徴量が得られるから、下流タスクに転移学習できるのが大きな強みなんだ。

めちゃくちゃ使われているよ。たとえば画像の一部をマスクして「隠された部分を復元しろ」というタスクで学習するMAE（Masked Autoencoders）や、同じ画像を異なる方法で変換した2つのビューが「同じ画像だ」と学ぶコントラスト学習がある。Meta AIのDINOv2はラベルなしの画像データだけで驚くほど高精度な画像認識ができるようになったんだよ。