【あるばーと】
ALBERT（アルバート） とは？
最終更新:
💡 道具を共有し、言葉を扱うモデルの持ち物を減らす
BERT系の言語表現モデルで、埋め込みの分解と層をまたぐパラメータ共有により、保持するパラメータを減らす設計を採用する。少ないパラメータと、少ない計算量や速さは同じではない。
📌 このページのポイント
ひよこ BERTの層を、ただ減らしたモデルなの？
ペンギン先生 層を減らすだけではないよ。ALBERTは、埋め込みを二段階に分けることと、層をまたいで重みを共有することを使う。処理を何段も行うとき、段ごとに別の道具を全部持たず、共有するイメージだね。
ひよこ 重みを共有すると、同じ結果ばかり出ない？
ひよこ 埋め込みを二段階にするって？
ペンギン先生 ひよこ SOPは、次の単語を当てること？
ペンギン先生 ひよこ 少ないパラメータなら、スマホで必ず速く動く？
ペンギン先生 保持する重みは減っても、各段の計算は行うよ。論文にも複数のサイズがあり、大きな構成が比較先より遅い条件もある。速度や動作メモリ、精度は構成・端末・用途で測ろう。「最大18分の1」をすべてのALBERTに当てはめないようにね。
📖 おまけ：英語の意味
「A Lite BERT」 ＝ 軽量なBERT
💬 論文名のA Lite BERTを短くした名前。軽量化では、特に保持するパラメータを減らす工夫に注目しよう。