神经网络权值初始化之Xavier和He初始化
Xavier初始化:条件：正向传播时，激活值的方差保持不变；反向传播时，关于状态值的梯度的方差保持不变。初始化方法：假设激活函数关于0对称，且主要针对于全连接神经网络。适用于tanh和softsign论文地址：Understanding the difficulty of training deep feedforward neural networks参考资料：深度学习之参数初始化（一）——Xa
·
- Xavier初始化:
- 条件：正向传播时，激活值的方差保持不变；反向传播时，关于状态值的梯度的方差保持不变。
- 初始化方法：
- 假设激活函数关于0对称，且主要针对于全连接神经网络。适用于tanh和softsign
- 论文地址：Understanding the difficulty of training deep feedforward neural networks
- 参考资料：
深度学习之参数初始化（一）——Xavier初始化
- He初始化：
- 论文地址：Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification
- 参考资料：
深度学习之参数初始化（二）——Kaiming初始化
He初始化论文阅读笔记与实现
技术共进，成长同行——讯飞AI开发者社区
更多推荐
0
0- 0
已为社区贡献5条内容
所有评论(0)