一、参数优化器简介

待优化参数w，损失函数loss，学习率Ir，每次迭代一个batch，t表示当前batch迭代的总次数：
1，计算时刻损失函数关于当前参数的梯度 $g_t=\frac{\partial loss}{\partial (w_t)}$
2，计算t时刻一阶动量$m_t$，和二阶动量$V_t$，
3，计算时刻下降梯度： ${\eta }_t=lr\ast \frac{m}{\sqrt{V}}$
4，计算t+1时刻参数: $w_{t+1}=w_t-{\eta }_t=w_t-lr\ast \frac{m}{\sqrt{V}}$
一阶动量：与梯度相关的函数
二阶动量：与梯度平方相关的函数
客观来说，需优化的参数仅为输入的权重w和偏置b，不需要优化输入的特征值和超参数，并且优化器之间的差异也是因一阶动量和二阶动量赋值不同而不同。下面来分别详细介绍SGD、SGDM、Adagrad、Rmsprop、Adam五种参数优化器。

二、五种参数优化器

2.1 SGD（不含momentum的梯度下降算法）

$m_t=g_t$ ，$V_t=1$
${\eta }_t=lr\ast \frac{m_t}{\sqrt{V_t}}=lr\ast g_t$
$w_{t+1}=w_t-{\eta }_t=w_t-lr\ast \frac{m_t}{\sqrt{V_t}}=w_t-lr\ast g_t$

2.2 SGDM（含momentum的梯度下降算法，在SGD基础上增加一阶动量）

$m_t=\beta m_{t-1}+(1-\beta )g_t$ ，$V_t=1$
${\eta }_t=lr\ast \frac{m_t}{\sqrt{V_t}}=lr\ast m_t=lr\ast [\beta m_{t-1}+(1-\beta )g_t]$
$w_{t+1}=w_t-{\eta }_t=w_t-lr\ast \frac{m_t}{\sqrt{V_t}}=w_t-lr\ast [\beta m_{t-1}+(1-\beta )g_t]$

注：$\beta =0.9$

2.3 Adagrad（在SGD基础上增加二阶动量）

$m_t=g_t$ ，$V_t={\sum }_{t=1}^t{g}_t^2$
${\eta }_t=lr\ast \frac{m_t}{\sqrt{V_t}}=lr\ast \frac{g_t}{\sqrt{{\sum }_{t=1}^t{g}_t^2}}$
$w_{t+1}=w_t-{\eta }_t=w_t-lr\ast \frac{m_t}{\sqrt{V_t}}=w_t-lr\ast \frac{g_t}{\sqrt{{\sum }_{t=1}^t{g}_t^2}}$

2.4 RMSProp（在SGD基础上增加二阶动量）

$m_t=g_t$ ，$V_t=\beta V_{t-1}+(1-\beta )g_t^2$
${\eta }_t=lr\ast \frac{m_t}{\sqrt{V_t}}=lr\ast \frac{g_t}{\sqrt{\beta V_{t-1}+(1-\beta )g_t^2}}$
$w_{t+1}=w_t-{\eta }_t=w_t-lr\ast \frac{m_t}{\sqrt{V_t}}=w_t-lr\ast \frac{g_t}{\sqrt{\beta V_{t-1}+(1-\beta )g_t^2}}$

注：$\beta =0.9$

2.5 Adam（同时结合SGDM一阶动量和RMSProp二阶动量）

$m_t={\beta }_1{m}_{t-1}+(1-{\beta }_1)g_t$ ，$V_t={\beta }_2{V}_{t-1}+(1-{\beta }_2)g_t^2$
对$m_t$和$v_t$分别进行修正动量的偏差，改为：
$\widehat{m_t}=\frac{m_t}{1-{\beta }_1^t}$
$\widehat{V_t}=\frac{v_t}{1-{\beta }_2^t}$
${\eta }_t=lr\ast \frac{\widehat{m_t}}{\sqrt{\widehat{V_t}}}$
$w_{t+1}=w_t-{\eta }_t=w_t-lr\ast \frac{\widehat{m_t}}{\sqrt{\widehat{V_t}}}$

注：$\beta 1=0.9$，$\beta 2=0.999$

总结

1.当lr=0.1 epoch=500 batch=32

loss变化趋势：

acc精确度变化趋势:

训练消耗时间：

从对比图中不难看出，损失函数loss衰减趋势图，Adam优化器衰减速度更快，且精确度在epoch=100后表现较为稳定，但是训练时间比前四个都要长，但为了得到较稳定的精确度，往往会以时间换准确度。

将参数改动，变为lr=0.01 epoch=100 batch=32

loss变化趋势：

准确度变化趋势：

训练耗时：

和之前的类似，就损失函数衰减的速度和结果准确率而言，还是Adam优化器比较占优势，但是由于调整了学习率lr和迭代的次数epoch，在时间上大大减少，均在2~4秒之间。

综上所述表明，找到适合的优化模型、学习率大小和迭代次数对模型的优化至关重要。同时Adam优化器可以作为常用优化器。