20.1 LSTM基本原理
20.1 LSTM基本原理⚓︎
本小节中,我们将学习长短时记忆(Long Short Term Memory, LSTM)网络的基本原理。
20.1.1 提出问题⚓︎
循环神经网络(RNN)的提出,使神经网络可以训练和解决带有时序信息的任务,大大拓宽了神经网络的使用范围。但是原始的RNN有明显的缺陷。不管是双向RNN,还是深度RNN,都有一个严重的缺陷:训练过程中经常会出现梯度爆炸和梯度消失的问题,以至于原始的RNN很难处理长距离的依赖。
从实例角度⚓︎
例如,在语言生成问题中:
佳佳今天帮助妈妈洗碗,帮助爸爸修理椅子,还帮助爷爷奶奶照顾小狗毛毛,大家都夸奖了
例句中出现了很多人,空白出要填谁呢?我们知道是“佳佳”,传统RNN无法很好学习这么远距离的依赖关系。
从理论角度⚓︎
根据循环神经网络的反向传播算法,可以得到任意时刻k, 误差项沿时间反向传播的公式如下: $$ \deltaT_k=\deltaT_t \prod_{i=k}^{t-1} diag[f'(z_i)]W $$
其中
注意,由于使用链式求导法则,式中有一个连乘项
梯度消失使得误差无法传递到较早的时刻,权重无法更新,网络停止学习。梯度爆炸又会使网络不稳定,梯度过大,权重变化太大,无法很好学习,最坏情况还会产生溢出(NaN)错误而无法更新权重。
解决办法⚓︎
为了解决这个问题,科学家们想了很多办法。
- 采用半线性激活函数ReLU代替 挤压型激活函数,ReLU函数在定义域大于0的部分,导数恒等于1,来解决梯度消失问题。
- 合理初始化权重
,使 的值尽量趋近于1,避免梯度消失和梯度爆炸。
上面两种办法都有一定的缺陷,ReLU函数有自身的缺点,而初始化权重的策略也抵不过连乘操作带来的指数增长问题。要想根本解决问题,必须去掉连乘项。
科学家们冥思苦想,终于提出了新的模型 —— 长短时记忆网络(LSTM)。
20.1.2 LSTM网络⚓︎
20.1.2.1 LSTM的结构⚓︎
LSTM 的设计思路比较简单,原来的RNN中隐藏层只有一个状态h,对短期输入敏感,现在再增加一个状态c,来保存长期状态。这个新增状态称为 细胞状态(cell state)**或**单元状态。 增加细胞状态前后的网络对比,如图20-1,20-2所示。
图20-1 传统RNN结构示意图
图20-2 LSTM结构示意图
那么,如何控制长期状态c呢?在任意时刻
时刻传入的状态 ,有多少需要保留。- 当前时刻的输入信息,有多少需要传递到
时刻。 - 当前时刻的隐层输出
是什么。
LSTM设计了 门控(gate) 结构,控制信息的保留和丢弃。LSTM有三个门,分别是:遗忘门(forget gate),输入门(input gate)和输出门(output gate)。
图20-3是常见的LSTM结构,我们以任意时刻t的一个LSTM单元(LSTM cell)为例,来分析其工作原理。
图20-3 LSTM内部结构意图
20.1.2.2 LSTM的前向计算⚓︎
-
遗忘门
由上图可知,遗忘门的输出为
, 采用sigmoid激活函数,将输出映射到[0,1]区间。上一时刻细胞状态 通过遗忘门时,与 结果相乘,显然,乘数为0的信息被全部丢弃,为1的被全部保留。这样就决定了上一细胞状态 有多少能进入当前状态 。遗忘门
的公式如下:其中,
为sigmoid激活函数, 为上一时刻的隐层状态,形状为 的行向量。 为当前时刻的输入,形状为 的行向量。参数矩阵 、 分别是 和 的矩阵, 为 的行向量。很多教科书或网络资料将公式写成如下格式:
或
后两种形式将权重矩阵放在状态向量前面,在讲解原理时,与公式
没有区别,但在代码实现时会出现一些问题,所以,在本章中我们采用公式 的表达方式。 -
输入门
输入门
决定输入信息有哪些被保留,输入信息包含当前时刻输入和上一时刻隐层输出两部分,存入即时细胞状态 中。输入门依然采用sigmoid激活函数,将输出映射到[0,1]区间。 通过输入门时进行信息过滤。输入门
的公式如下:即时细胞状态
的公式如下:上一时刻保留的信息,加上当前输入保留的信息,构成了当前时刻的细胞状态
。当前细胞状态
的公式如下:其中,符号
表示矩阵乘积, 表示 Hadamard 乘积,即元素乘积。 -
输出门
最后,需要确定输出信息。
输出门
决定 和 中哪些信息将被输出,公式如下:细胞状态
通过tanh激活函数压缩到 (-1, 1) 区间,通过输出门,得到当前时刻的隐藏状态 作为输出,公式如下:$$ h_t=o_t \circ \tanh(c_t) \tag{6} $$s
最后,时刻t的预测输出为:
其中,
经过上面的步骤,LSTM就完成了当前时刻的前向计算工作。
20.1.2.3 LSTM的反向传播⚓︎
LSTM使用时序反向传播算法(Backpropagation Through Time, BPTT)进行计算。图20-4是带有一个输出的LSTM cell。我们使用该图来推导反向传播过程。
图20-4 带有一个输出的LSTM单元
假设当前LSTM cell处于第
我们先复习几个在推导过程中会使用到的激活函数,以及其导数公式。令sigmoid =
假设某一线性函数
从图中可知,从上层传回的误差为输出层
从
该cell的隐层
接下来的推导过程仅与本层相关,为了方便推导,我们忽略层次信息,令
可以求得各个门结构加权输入的误差,如下:
于是,在
最终误差为各时刻误差之和,则:
同理可得:
当前LSTM cell分别向前一时刻(
沿时间向前传递:
沿层次向下传递:
以上,LSTM反向传播公式推导完毕。