用語集 › 🤖 AI › NSP（次文予測）
【えぬえすぴー】

NSP（次文予測） とは？

💡 この2つの文、本当につながってる？AIの読解チェック
📌 このページのポイント
次文予測（NSP）の仕組み IsNext（つながっている） 文A: 今日は天気が良い 文B: 散歩に出かけよう NotNext（無関係） 文A: 今日は天気が良い 文B: 量子力学の基礎を学ぶ BERT [CLS] 文A [SEP] 文B [SEP] IsNext: 50% NotNext: 50% 学習データは IsNext と NotNext を 50:50 で構成
NSP：2つの文がつながっているかを判定する学習タスク
ひよこ ひよこ

次文予測ってどういうこと？

ペンギン先生 ペンギン先生

2つの文をAIに見せて「この2つの文は元々つながっていた文？それとも関係ない文？」と判定させるタスクだよ。BERTの事前学習でMLMと一緒に使われたんだ

ひよこ ひよこ

なんでそんなことを学習させるの？

ペンギン先生 ペンギン先生

文と文の関係を理解させるためだよ。例えば質問応答では「質問文」と「回答文」の関係を理解する必要があるし、文書要約でも文同士のつながりを把握することが大事だからね

ひよこ ひよこ

具体的にはどうやるの？

ペンギン先生 ペンギン先生

学習データから2つの連続した文をペアにして「IsNext（つながっている）」というラベルを付ける。同時にランダムに選んだ無関係な文のペアに「NotNext（つながっていない）」というラベルを付ける。この50:50のデータで二値分類を学習するんだよ

ひよこ ひよこ

NSPって今でも使われてるの？

ペンギン先生 ペンギン先生

実は後からRoBERTaという研究で、NSPを外してMLMだけで学習しても性能が同等かむしろ良くなることがわかったんだ。だから最近のモデルではNSPを使わないことが多い。ただしBERTの設計思想として「文間関係の理解」を明示的に学習させるというアイデア自体は重要な貢献だったんだよ

ペンギン
まとめ：ざっくりこれだけ覚えればOK！
「NSP」って出てきたら「2つの文がつながっているか判定するBERTの学習タスク」と思えればだいたいOK！
📖 おまけ：英語の意味
「Next Sentence Prediction」 ＝ 次の文の予測
💬 next sentenceは次の文という意味で、2つの文が実際に隣り合っていたかを当てるタスクだからこの名前だよ
🔗 あわせて読みたい
← 用語集にもどる