【かくれそう】

隠れ層 とは?

最終更新:
💡 入力を受け取り、次の層へつなぐ中間の計算

ニューラルネットワークで、入力層と出力層の間にある計算の層。学習した重みなどで入力の表現を変換する。「隠れ」は中間の層という呼び名で、値を観測できないという意味ではない。

📌 このページのポイント
入力と出力の間で、表現を変換入力層隠れ層隠れ層出力層重み・バイアス・活性化関数など中間の値も、道具を使って調べられる
全結合の隠れ層を持つネットワークの例。円は計算の単位で、この個数や結び方が全モデルに共通するわけではありません。
ひよこ ひよこ
隠れ層は、見えない秘密の場所なの?
ペンギン先生 ペンギン先生
入力層と出力層の間にある層の名前だよ。中間の値は、プログラムや可視化の道具で調べられる。人間の秘密の思考が隠れているわけではなく、重みなどを使った計算のまとまりなんだ。
ひよこ ひよこ
どんな計算をするの?
ペンギン先生 ペンギン先生
全結合の層なら、前の層の値に重みを掛けて足し合わせ、バイアスを加え、活性化関数を通す、といった計算をするよ。そうしてできた中間の値を、次の層の入力に使う。層の種類によって、具体的な計算方法は違うんだ。
ひよこ ひよこ
画像なら、線、形、顔の順で分かる?
ペンギン先生 ペンギン先生
画像の特徴を段階的に組み合わせる説明は、イメージとして役立つよ。ただし、各層が必ず「線担当」「顔担当」と決まるわけではない。学習データや設計によって表現は変わり、人が一つの意味を付けにくい中間の値もあるんだ。
ひよこ ひよこ
層をたくさん増やせば、もっと賢くなる?
ペンギン先生 ペンギン先生
深くすると変換を重ねられるけれど、増やすだけで精度が上がるとは限らないよ。計算の負担や学習の難しさ、過学習も考える必要がある。層数や幅はデータと目的に合わせて選び、学習に使っていないデータでも性能を確かめよう。
もっと詳しく知りたい人へ

中間層を増やせば、非線形な関係を表せる?

線形の計算だけを何層重ねても、全体は線形のままです。複雑な非線形の関係を表すには、ReLUなどの非線形な活性化関数を組み合わせることが重要です。層数と、そこで行う計算の両方を考えましょう。

ペンギン
まとめ:ざっくりこれだけ覚えればOK!
「隠れ層」って出てきたら「ニューラルネットワークの入力と出力の間で計算する中間層」と思えばだいたいOK!
📖 おまけ:英語の意味
「Hidden Layer」 = 隠れた層・中間層
💬 モデルの外部への入力や最終出力ではない、中間の計算の層を指すよ。内部の値を絶対に見られないという意味ではないんだ

参考資料

← 用語集にもどる