自己教師あり学習 とは？

データから問題と答えを作る、というイメージだよ。たとえば元の文が「今日は晴れだ」なら、「今日は［？］だ」を入力にして、隠した「晴れ」を予測対象にできる。別の人が正解を書き足さなくても、元の文を使えるんだ。

教師あり学習では入力と正解ラベルの組を用意する。自己教師あり学習では学習の手がかりをデータそのものから得るよ。ラベル付けの負担を減らせるけれど、データの収集や整備、学習の計算が不要になるわけではないんだ。

事前学習の例だね。BERTでは隠したトークンを予測し、GPT系では前までの内容から次のトークンを予測する。トークンは文章を処理する単位で、いつも単語一つとは限らない。モデルの学習全体がこの方法だけで構成される、という意味ではないよ。

ラベルなしデータを使う点から、広く教師なし学習に含めて扱われることもある。一方で、データから教師信号を得る特徴をはっきりさせるため、自己教師ありと呼び分けるんだ。分類の名前だけで境界が一つに決まるわけではないよ。

使えるよ。MAEは画像の一部を隠して元の画素を復元する課題で学ぶ方法。ほかにも同じ画像を違う形に加工したものの表現を近づける方法がある。事前学習した表現は分類などに利用でき、その後の学習で正解ラベルを使うこともあるよ。