アダプターレイヤーとは何ですか？

既存のTransformer層の間に小さなボトルネックネットワーク（アダプター）を挿入し、タスク固有の学習を行うPEFT手法。挿入パラメータ数を全体の数%に抑えながら高い適応性を実現する。

アダプターレイヤーのポイントは？

挿入するパラメータは全体の数%程度に抑えられる。複数タスクをアダプター差し替えで切り替え可能。LoRAの先駆けとなったPEFT手法

【あだぷたーれいやー】

公開: 2026年7月21日

💡 既存の回路に差し込むだけの専用アダプター

📌 このページのポイント

Transformer層間に挟まれたアダプターが小さなボトルネック構造で追加学習を行うイメージ

ひよこ

ペンギン先生、アダプターレイヤーって何のことなの？

ペンギン先生

Transformerの各層の間に「アダプター」という小さなネットワークを差し込んで、元のモデルは変えずにタスク固有の学習をする仕組みだよ

ひよこ

元のモデルを変えないで学習できるの？

ペンギン先生

そうだよ！元の重みは完全に凍結して、追加したアダプターの部分だけを学習するんだ。全パラメータの1〜3%程度を更新するだけでもかなり高い精度が出るんだよ

ひよこ

アダプターの構造ってどうなってるの？

ペンギン先生

ダウンプロジェクション（次元削減）→ 活性化関数 → アッププロジェクション（次元復元）というボトルネック構造になってるよ。小さく圧縮してから戻すことでパラメータ数を抑えているんだ

ひよこ

複数タスクを切り替えられるって便利そう！

ペンギン先生

そこが大きな利点のひとつだね。翻訳タスク用のアダプター、感情分析タスク用のアダプターとそれぞれ用意しておいて、タスクに応じて差し替えるだけでいいんだよ

ひよこ

LoRAとの関係はどうなってるの？

ペンギン先生

アダプターレイヤーは2019年に発表された比較的古い手法で、LoRAはその後に登場した改良版のような位置づけだよ。LoRAは行列分解で重みの変化分だけ学習するから推論時の速度は有利だけど、アダプターレイヤーの考え方が基礎を作ったんだ

まとめ：ざっくりこれだけ覚えればOK！

「アダプターレイヤー」って出てきたら「Transformer層に差し込む小さな追加学習モジュール」と思えればだいたいOK！

📖 おまけ：英語の意味

「Adapter Layer」＝アダプターレイヤー

💬 電源アダプターのように「既存のものを変えずに新しい用途に対応させる」という考え方から来てるよ