長短期記憶セル

図17に示す長短期記憶（以下「LSTM」(Long Short-Term Memory）)セルは、より複雑なタイプの再帰型セルです。LSTMセルは、基本RNNセルで使用される状態 h のほか、内部セル状態 c や、入力ゲート i、忘却ゲート f、出力ゲート o と呼ばれる内部層を保持し、これによりLSTMセルは、特定のイベントを基本RNNセルよりも長い時間ステップの間保持するかどうかを決定することができます。

LSTMセルにおいては、前回の時点での特異イベントが、特定の期間全体にわたりセルの出力に影響を及ぼすことができます。したがってLSTMセルは、非周期的または単一のイベントが長期間にわたって重要である状態を保持するシナリオをモデリングするのに適しています。ただしセルの複雑化に伴いトレーニング時間が長くなり、パラメータ数も大幅に増大します。

図17: LSTMセルの概略レイアウト：入力 x_t および前回のセル状態 h_t-1 は、セルの入力起動関数 a1、入力ゲート i、忘却ゲート f、出力ゲート o に供給され、セルの内部状態はより大きなノード c によって表されるステップ t と t−1 の両方のセルの内部状態 c と出力起動 a2 とが要素ごとに乗算されて組み合わされ、セルの出力を生成する。この出力は、トレーニングされるパラメータの数を減少させる目的で出力射影層 p に供給される。この結果として、時間ステップ t における出力 y_t とセル状態 h_t が得られる。青い破線の接続は、以下のテキストで説明されている「ピープホール接続」を表す。

図17には、LSTMセルの規則的なレイアウトに加えて、いわゆる「ピープホール（のぞき穴）接続」を表す青い破線が示されています。ピープホール接続は、入力ゲートと忘却ゲートの起動が、時間ステップ t − 1 において現在の内部セル状態 c を処理し、出力ゲート起動は、その更新後（つまり時間ステップ t において）、c になることを意味しています。