将Batch Norm应用到神经网络中（吴恩达深度学习第三课）

1，Adding Batch Norm to a network每一层除了W，b，多了两个参数beta 和 gamma。beta和gamma也需要计算梯度，并在反向传播时使用优化算法进行更新。2，Working with mini-batch对于每一个mini-batch来说，每一层按道理应该有w，b，beta，gamma四组参数，但是由于做归一化，加上b之后，也会由于归一化会减...

guanguanboy

256人浏览 · 2019-12-14 22:05:16

guanguanboy · 2019-12-14 22:05:16 发布

1，Adding Batch Norm to a network

每一层除了W，b，多了两个参数beta 和 gamma。beta和gamma也需要计算梯度，并在反向传播时使用优化算法进行更新。

2，Working with mini-batch

对于每一个mini-batch来说，每一层按道理应该有w，b，beta，gamma四组参数，但是由于做归一化，加上b之后，也会由于归一化会减去b，所以这种情况下，参数b是没有意义的。因此每一层值剩下三组参数，w，beta，gamma。

3，Implementing gradient descent

beta和gamma也需要计算梯度，并在反向传播时使用优化算法进行更新。

关于batch norm 的实现可以参考李沐《动手学深度学习》。

http://tangshusen.me/Dive-into-DL-PyTorch/#/chapter05_CNN/5.10_batch-norm

技术共进，成长同行——讯飞AI开发者社区

更多推荐

Python人工智能在气象中的实践技术应用

Python是功能强大、免费、开源，实现面向对象的编程语言，在数据处理、科学计算、数学建模、数据挖掘和数据可视化方面具备优异的性能，这些优势使得Python在气象、海洋、地理、气候、水文和生态等地学领域的科研和工程项目中得到广泛应用。对于的气象海洋领域的专业人员，Python是进行机器学习和深度学习工作的首选。本专题，在详细讲解机器学习常用的两类集成学习算法，Bagging和Boosting，对两