1. 概述

循环神经网络（Recurrent Neural Networks, RNN）主要用于时序数据，最常见的时序数据如文章，视频等，$t$时刻的数据与$t-1$时刻的数据存在内在的联系。RNN模型能够对这样的时序数据建模。

2. 算法原理

RNN模型的基本结构如下所示（图片来自参考文献）：

如上图所示，循环神经网络通过使用自带反馈的神经元，能够处理任意长度的时序数据，对此结构按照时间展开的形式如下所示（图片来自参考文献）：

2.1. RNN的结构

上图中给出了RNN的内部结构，RNN根据输入输出主要可以分为以下三种：

• 多输入单输出，如文本的分类问题；
• 单输入多输出，如描述图像；
• 多输入多输出，又分为等长或者不等长两种情况，等长如机器作诗，不等长如seq2seq模型；

这里以多输入单输出的情况为例，多输入单输出的具体结构如下所示：

2.2. RNN的计算过程

假设对于一个长度为$T$的序列 { x 1 , x 2 , ⋯   , x T } \left \{ x_1,x_2,\cdots ,x_T \right \} {x1​,x2​,⋯,xT​}，其中$x_i=\left(x_{i,1},x_{i,2},\cdots ,x_{i,n}\right)$是一个$n$维的向量，假设RNN的输入$x$的维度为$n\times 1$，隐含层状态$h_t$的维度为$H\times 1$，RNN的状态更新公式为：

$$h_t=f\left(U{h}_{t-1}+W{x}_t+b\right)$$

通常$h_0$会设置为全$0$的向量。模型中的参数$U$的维度为$H\times H$，$W$的维度为$H\times n$，$b$的维度为$H\times 1$，对于具体的分类问题，其输出为：

$$\hat{y}=softmax(W_o{h}_t+b_o)$$

假设对于分类问题有$c$个类别，则参数$W_o$的维度为$c\times H$，$b_o$的维度为$c\times 1$。最终的损失函数为：

$$J\left(U,W,b,W_o,b_o\right)=\frac{1}{m}\sum _{i=1}^{m}L\left(y^{(i)},{\hat{y}}^{(i)}\right)$$

其中

$$L\left(y^{(i)},{\hat{y}}^{(i)}\right)=-\sum _{j=1}^c{y}_j^{(i)}log{\hat{y}}_j^{(i)}$$

2.3. RNN中参数的求解

对于RNN模型，通常使用BPTT（BackPropagation Through Time）的训练方式，BPTT也是重复的使用链式法则，对于RNN而言，损失函数不仅依赖于当前时刻的输出层，也依赖于下一时刻。为了简单起见，以一个样本为例，此时的损失函数可以记为$L\left(y,\hat{y}\right)$，模型的参数为$U,W,b,W_o,b_o$，具体的求解过程如下所示：

首先对$\hat{y}$重新定义，样本属于第$(i)$个类别的预测值为：

$${\hat{y}}_{(i)}=\frac{e^{W_{oi}{h}_t+b_{oi}}}{{\sum }_{l=1}^c{e}^{W_{ol}{h}_t+b_{ol}}}$$

则$\frac{\partial L}{\partial W_{oi}}$和$\frac{\partial L}{\partial b_{oi}}$分别为：

$$\frac{\partial L}{\partial W_{oi}}=-\left(y_{(i)}-{\hat{y}}_{(i)}\right)h_t$$

$$\frac{\partial L}{\partial b_{oi}}=-\left(y_{(i)}-{\hat{y}}_{(i)}\right)$$

假设$f$为tanh，而$tanh(a)$的导数为$1-tanh(a{)}^2$，以$\frac{\partial L}{\partial U}$为例：

$$\frac{\partial L}{\partial U}=\frac{\partial L}{\partial \hat{y}}\cdot \frac{\partial \hat{y}}{\partial h_t}\cdot \frac{\partial h_t}{\partial U}+\frac{\partial L}{\partial \hat{y}}\cdot \frac{\partial \hat{y}}{\partial h_t}\cdot \frac{\partial h_t}{\partial h_{t-1}}\cdot \frac{\partial h_{t-1}}{\partial U}+\cdots +\frac{\partial L}{\partial \hat{y}}\cdot \frac{\partial \hat{y}}{\partial h_t}\cdot \frac{\partial h_t}{\partial h_{t-1}}\cdots \frac{\partial h_1}{\partial h_0}$$

而$\frac{\partial h_t}{\partial h_{t-1}}=\left[1-tanh{\left(h_t\right)}^2\right]\cdot U$，这是个小于1的数，从上面的公式我们发现，时序数据越长，后面的梯度就趋于0。

2.4. RNN存在的问题

从上述的BPTT过程来看，RNN存在长期依赖的问题，由于反向传播的过程中存在梯度消失或者爆炸的问题，简单的RNN很难建模长距离的依赖关系。

参考文献

• Understanding LSTM Networks