RNN とは？

普通のニューラルネットワークはデータが入口から出口へ一方通行だけど、RNNは出力の一部を次のステップの入力に「戻す」んだ。「私は猫が」の次を予測するとき、「私は」「猫が」という前の情報を記憶として持ち越しながら処理するイメージだよ。

学習時に「どれくらい重みを修正するか」を示す勾配という値が、層を遡るたびにどんどん小さくなって消えてしまう現象だよ。RNNだと長い文章の最初の方の情報が学習に反映されなくなる。だから「昨日の朝……（長い文章）……だった」みたいな長距離の依存関係が苦手なんだ。

自然言語処理の分野ではTransformerに主役の座を奪われた感があるけど、リアルタイムの音声処理やセンサーデータの処理など、逐次的にデータが入ってくる場面ではまだ使われているよ。LSTMやGRUという改良版も含めるとまだまだ現役だよ。

どちらもRNNの勾配消失問題を解決するために作られた改良版だよ。LSTMには「忘却ゲート」「入力ゲート」「出力ゲート」の3つのゲートがあって、どの情報を記憶・忘却・出力するかを細かく制御する。GRUはLSTMを簡略化した版で、ゲートが2つだけ。パラメータが少ないぶん学習が速く、性能はLSTMとほぼ同等と言われているよ。

大いにあるよ。まずTransformerの仕組みを理解するにはRNNの限界を知ることが前提になる。それに最近「State Space Models」や「Mamba」というRNNの発展形が登場して、Transformerに匹敵する性能を低い計算コストで実現する研究が注目されているんだ。RNNの考え方は形を変えて生き続けているよ。