【まえむえるえむ】
MLM（マスク言語モデル） とは？
💡 穴あき問題でAIの読解力を鍛える特訓法
📌 このページのポイント
ひよこ マスク言語モデルって何？マスクをかけるの？
ペンギン先生 その通り！文章の中の一部の単語を[MASK]という特別なトークンで隠して、AIに「ここに何が入る？」と当てさせる学習方法だよ。学校のテストの穴埋め問題みたいなものだね
ひよこ なんでわざわざ隠すの？
ペンギン先生 隠された単語を当てるためには、前後の文脈をしっかり理解する必要があるよね。これによってAIは文章の意味を深く理解できるようになるんだ。BERTはこの方法で学習したから、文章の意味理解がとても得意になったんだよ
ひよこ GPTとはどう違うの？
ペンギン先生 ひよこ 全部の単語を隠して学習しないの？
ペンギン先生 いい質問だね。実は入力の約15%だけをランダムに選んでマスクするんだ。しかもそのうち80%を[MASK]に、10%をランダムな単語に、残り10%はそのままにするという工夫がある。こうすることで実際の使用時との差を小さくして、よりロバストなモデルになるんだよ
まとめ：ざっくりこれだけ覚えればOK！
「MLM」って出てきたら「文の一部を隠して当てさせるBERTの学習法」と思えればだいたいOK！
📖 おまけ：英語の意味
「Masked Language Model」 ＝ マスクされた言語モデル
💬 maskは仮面や覆い隠すという意味で、単語を隠して（マスクして）予測させるからこの名前だよ