【深度学习基础】系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记。

1.Adam优化算法

Adam优化算法（Adaptive Moment Estimation）和RMSprop、Momentum梯度下降法是被广泛应用并且经受了大量考验的优化算法，适用于不同的深度学习结构。

Adam优化算法实际上就是将RMSprop和Momentum结合在一起。

接下来看下Adam优化算法的详细步骤：

• 初始化：$V_{dw}=0,S_{dw}=0,V_{db}=0,S_{db}=0$
• On iteration t:
  • Compute $dw,db$ using current mini-batch
  • $$V_{dw}={\beta }_1{V}_{dw}+(1-{\beta }_1)dw;V_{db}={\beta }_1{V}_{db}+(1-{\beta }_1)db$$
  • $$S_{dw}={\beta }_2{S}_{dw}+(1-{\beta }_2)(dw{)}^2;S_{db}={\beta }_2{S}_{db}+(1-{\beta }_2)(db{)}^2$$
  • $$V_{dw}^{corrected}=V_{dw}/(1-{\beta }_1^t);V_{db}^{corrected}=V_{db}/(1-{\beta }_1^t)$$
  • $$S_{dw}^{corrected}=S_{dw}/(1-{\beta }_2^t);S_{db}^{corrected}=S_{db}/(1-{\beta }_2^t)$$
  • $$w:=w-\alpha \frac{V_{dw}^{corrected}}{\sqrt{S_{dw}^{corrected}}+ϵ};b:=b-\alpha \frac{V_{db}^{corrected}}{\sqrt{S_{db}^{corrected}}+ϵ}$$

Adam算法涉及很多超参数：

1. $\alpha$：学习率，需要自行尝试得到合适的值。
2. ${\beta }_1$：常用的值是0.9。
3. ${\beta }_2$：Adam算法的发明者推荐使用0.999。
4. $ϵ$：Adam算法的发明者建议为$10^{-8}$。

其中超参数${\beta }_1,{\beta }_2,ϵ$通常使用推荐值即可，没有调整的必要，对结果影响不大。

后续提出的AdamW则可用来解决Adam优化器中L2正则化失效的问题。Adam算法参数更新的计算公式如下（和上面是一样的，只是换了种表示方式）：

$$t=t+1$$

$$moment\_1\_out={\beta }_1\ast moment\_1+(1-{\beta }_1)\ast grad$$

$$moment\_2\_out={\beta }_2\ast moment\_2+(1-{\beta }_2)\ast grad\ast grad$$

$$learning\_rate=learning\_rate\ast \frac{\sqrt{1-{\beta }_2^t}}{1-{\beta }_1^t}$$

$$param\_out=param-learning\_rate\ast \frac{moment\_1}{\sqrt{moment\_2}+ϵ}$$

AdamW算法参数更新的计算公式如下：

$$t=t+1$$

$$moment\_1\_out={\beta }_1\ast moment\_1+(1-{\beta }_1)\ast grad$$

$$moment\_2\_out={\beta }_2\ast moment\_2+(1-{\beta }_2)\ast grad\ast grad$$

$$learning\_rate=learning\_rate\ast \frac{\sqrt{1-{\beta }_2^t}}{1-{\beta }_1^t}$$

$$param\_out=param-learning\_rate\ast (\frac{moment\_1}{\sqrt{moment\_2}+ϵ}+\lambda \ast param)$$

2.参考资料

1. Adam
2. AdamW

想要获取最新文章推送或者私聊谈人生，请关注我的个人微信公众号：⬇️x-jeff的AI工坊⬇️

个人博客网站：https://shichaoxin.com

GitHub：https://github.com/x-jeff