神经网络概述

多层神经网络是由单层神经网络叠加而成的，所以形成了成的概念，常见的多层神经网络由如下结构：

• 输入层（Input Layer）：由众多神经元（Neuron）组成，用来接收输入信息，输入的信息成为输入向量
• 输出层（Output Layer）：信息通过神经元链接传输、分析、权衡，形成输出结果，输出的信息称为输出向量
• 隐藏层（Hidden Layer）：简称：“隐层”，是输入层和输出层之间众多神经元和链接组成的各层，隐层可以有一层或者多层，隐层的结点（神经元）数目不定，数目越多神经网络的非线性越显著，从而神经网络的强健性（robustness）越显著

参数定义

• x：神经网络输入
• y：实际数据标签
• $\hat{y}$：神经网络输出
• w：权重参数
• b：偏置参数
• L：损失函数
• J：成本函数
• nx：神经元输出x个数
• m：隐藏层的节点数

神经元定义

非向量化实现

$$z=w_1\ast x_1+w_2\ast x_2+w_3\ast x_3+...+w_{nx}\ast x_{nx}+b$$

向量化实现

$$W=[w_1,w_2,w_3...w_{nx}{]}^T$$
$$X=[x_1,x_2,x_3...x_{nx}{]}^T$$
$$Z=W^T\ast X+b$$

神经网络定义(一层)

非向量化实现

$$\begin{gathered} W_{[1]}=[w_{11},w_{12},w_{13}...w_{1nx}{]}^T \\ {W}_{[2]}=[w_{21},w_{22},w_{23}...w_{2nx}{]}^T \\ {W}_{[3]}=[w_{31},w_{32},w_{33}...w_{3nx}{]}^T \\ ... \\ {W}_{[m]}=[w_{m1},w_{m2},w_{m3}...w_{mnx}{]}^T \end{gathered}$$
$$\begin{gathered} z_1=W_{[1]}^T\ast X+b_{[1]} \\ {z}_2=W_{[2]}^T\ast X+b_{[2]} \\ {z}_3=W_{[3]}^T\ast X+b_{[3]} \\ ... \\ {z}_m=W_{[m]}^T\ast X+b_{[m]} \end{gathered}$$

向量化实现

$$W=[W_{[1]}^T,W_{[2]}^T,W_{[3]}^T...W_{[m]}^T{]}^T$$
$$X=[x_1,x_2,x_3...x_{nx}{]}^T$$
$$B=[b_1,b_2,b_3...b_m{]}^T$$
$$Z=W^T\ast X+B=[z_1,z_2,z_3...z_m{]}^T$$

神经网络定义(多批次数据输入)

非向量化实现

多批量数据输入：
$$\begin{gathered} X^{(1)}=[x_{11},x_{12},x_{13}...x_{1nx}{]}^T \\ {X}^{(2)}=[x_{21},x_{22},x_{23}...x_{2nx}{]}^T \\ {X}^{(3)}=[x_{31},x_{32},x_{33}...x_{3nx}{]}^T \\ ... \\ {X}^{(n)}=[x_{n1},x_{n2},x_{n3}...x_{nnx}{]}^T \end{gathered}$$
多批量神经网络输出：
$$\begin{gathered} Z^{(1)}=W^T\ast X^{(1)}+B \\ {Z}^{(2)}=W^T\ast X^{(2)}+B \\ {Z}^{(3)}=W^T\ast X^{(3)}+B \\ ... \\ {Z}^{(n)}=W^T\ast X^{(n)}+B \end{gathered}$$

向量化实现

$$X=[X^{(1)},X^{(2)},X^{(3)}...X^{(n)}]$$
$$Z=W^T\ast X+B=[Z^{(1)},Z^{(2)},Z^{(3)}...Z^{(n)}]$$

总结

在实际运用过程中，往往使用显式循环语句的效率是低下的，将输入数据、训练参数等向量化能够极大地提升神经网络的训练效率。