1 逻辑回归为什么可以初始化为0 ？

1.1 参数说明

输入: $x_1,x_2$
输出: $a$
权重: $w_1,w_2$
偏置: $b$
激活函数: $sigmoid$
损失函数: $crossentropy$

逻辑回归用公式表达为: $a=sigmoid(w_1{x}_1+w_2{x}_2+b)$
损失函数: $L=-ylog(a)-(1-y)log(1-a)$

1.2 反向传播

sigmoid函数的导数: $s^{{}^{\prime }}=s(1-s)$

$$\frac{\partial L}{\partial a}=-\frac{y}{a}+\frac{1-y}{1-a}$$

$$\frac{\partial L}{\partial w_1}=\frac{\partial L}{\partial a}\cdot \frac{\partial a}{\partial x}=(a-y)x_1$$

$$\frac{\partial L}{\partial w_2}=(a-y)x_2$$

$$\frac{\partial L}{\partial b}=(a-y)$$

1.3 参数更新

$$w_1:=w_1-\alpha \frac{\partial L}{\partial w_1}$$

$$w_2:=w_2-\alpha \frac{\partial L}{\partial w_2}$$

$$b:=b-\alpha \frac{\partial L}{\partial b}$$

1.4 分析

当把$w_1,w_2$初始化为0，$\frac{\partial L}{\partial w_1},\frac{\partial L}{\partial w_2}$与无关，梯度不为0，参数可以正常更新。当$b$初始化为0，梯度为0.5或-0.5，也不影响参数更新。

2 为什么神经网络的权重不可以初始化为0 ？

2.1 参数说明

输入: $x_1,x_2$
输出: $a_1,a_2,a_3$
权重: $w_{11},w_{12},w_{21},w_{22},w_{13},w_{23}$
偏置: $b_1,b_2,b_3$
激活函数: $sigmoid$
损失函数: $crossentropy$

损失函数: $L=-ylog(a_3)-(1-y)log(1-a_3)$

2.2 前向传播

$$a_1=sigmoid(w_{11}{x}_1+w_{21}{x}_2+b_1)$$

$$a_2=sigmoid(w_{12}{x}_1+w_{22}{x}_2+b_2)$$

$$a_3=sigmoid(w_{13}{a}_1+w_{23}{a}_2+b_3)$$

2.3 反向传播

$$\frac{\partial L}{\partial a_3}=-\frac{y}{a_3}+\frac{1-y}{1-a_3}$$

$$\frac{\partial L}{\partial w_{13}}=(a_3-y)a_1$$

$$\frac{\partial L}{\partial w_{23}}=(a_3-y)a_2$$

$$\frac{\partial L}{\partial b_3}=(a_3-y)$$

$$\frac{\partial L}{\partial a_1}=(a_3-y)w_{13}$$

$$\frac{\partial L}{\partial a_2}=(a_3-y)w_{23}$$

$$\frac{\partial L}{\partial w_{11}}=(a_3-y)w_{13}{a}_1(1-a_1)x_1$$

$$\frac{\partial L}{\partial w_{21}}=(a_3-y)w_{13}{a}_1(1-a_1)x_2$$

$$\frac{\partial L}{\partial b_1}=(a_3-y)w_{13}{a}_1(1-a_1)$$

$$\frac{\partial L}{\partial w_{12}}=(a_3-y)w_{23}{a}_2(1-a_2)x_1$$

$$\frac{\partial L}{\partial w_{22}}=(a_3-y)w_{23}{a}_2(1-a_2)x_2$$

$$\frac{\partial L}{\partial b_2}=(a_3-y)w_{23}{a}_2(1-a_2)$$

2.4 讨论

可以分为下面3个情况

• w初始化为0，b初始化为0
• w初始化为0，b随机初始化
• w随机初始化，b初始化为0

2.4.1 w初始化为0，b初始化为0

第一个batch，前向传播 $a_1=a_2=a_3=0.5$，由于$a_1=a_2$, 反向传播会导致$w_{13},w_{23}$可以得到更新但是两个权重均相同，同时$b_3$也得到了更新，$w_{11},w_{21},w_{12},w_{22},b_1,b_2$更新时用到了$w_{13},w_{23}$，开始这两个初始化为0了，所以这几个参数未能更新，依然是0.

第二个batch，$w_{13},w_{23}$两个权重相同，反向传播的时候$w_{11}$和$w_{12}$相同，$w_{21}$和$w_{22}$相同，同样的，$a_1=a_2$，由于$a_1=a_2$,反向传播会导致$w_{13},w_{23}$可以得到更新但是两个权重均相同。

第n个batch，每一隐藏层的权重都能得到更新，但是存在每一隐藏层的隐藏神经元权重都是一致的，也就是说，同一隐藏层所有神经元的输出都一致。

2.4.2 w初始化为0，b随机初始化

第一个batch，前向传播 $a_1=sigmoid(b_1),a_2=sigmoid(b_2),a_3=sigmoid(b_3)$, 反向传播会$w_{13},w_{23},b_3$可以得到更新，$w_{11},w_{21},w_{12},w_{22},b_1,b_2$更新时用到了$w_{13},w_{23}$，开始这两个初始化为0了，所以这几个参数未能更新，依然是0.

第二个batch，反向传播的过程中，由于$w_{13},w_{23}$不为0，导致所有的参数都能够得到更新。

2.4.3 w随机初始化，b初始化为0

前向传播过程中，$a_1,a_2$均不为0，反向传播的过程中各参数均可以更新

欢迎关注微信公众号（算法工程师面试那些事儿)，本公众号聚焦于算法工程师面试，期待和大家一起刷leecode，刷机器学习、深度学习面试题等，共勉～