【えぬえすぴー】
NSP（次文予測） とは？
最終更新:
💡 この2つの文、本当につながってる？AIの読解チェック
BERTの事前学習で、2つのテキストが元の文書で続いていたかを二値分類するタスク。次の文を生成するタスクではない。
📌 このページのポイント
ひよこ 次文予測って次の文を書くこと？
ひよこ 何のために学習させるの？
ペンギン先生 質問応答や自然言語推論に役立つ、テキスト同士の関係を学ぶ狙いがあるよ。元のBERT論文では、NSPを除くと一部の評価タスクの性能が下がったと報告しているんだ。
ひよこ 正解のラベルはどう作るの？
ペンギン先生 元の続きからBを取る場合はIsNext、コーパスからランダムにBを取る場合はNotNextとするよ。それぞれ50%の確率で作る。ランダムなBでも、内容が偶然関連することはあるんだ。
ひよこ その50%はAIの予測の確率なの？
ペンギン先生 学習例を作る割合だよ。モデルは入力ごとにIsNextかNotNextかを予測するので、予測がいつも半々になるわけではないんだ。
ひよこ NSPがないと文の関係は学べない？
ペンギン先生 そんなことはないよ。RoBERTaはNSPを外し、入力のまとめ方なども変更して良い性能を得たんだ。NSPが役立つかは学習方法や評価条件にもよるんだね。
もっと詳しく知りたい人へ
入力の「文A」「文B」はそれぞれ1文だけ？
説明では2文で例示しますが、BERTの入力セグメントは複数の自然な文を含む場合もあります。NSPは2つのセグメントの関係を分類します。
まとめ：ざっくりこれだけ覚えればOK！
「NSP」って出てきたら「元の文章で続いていたかを当てるBERTの学習」と思えばだいたいOK！
📖 おまけ：英語の意味
「Next Sentence Prediction」 ＝ 次の文の予測
💬 next sentenceは次の文という意味で、2つの文が実際に隣り合っていたかを当てるタスクだからこの名前だよ