1、神经网络的起源-Neural Networks

\qquad 神经网络起源于人们想要模仿大脑的功能。在80和90年代，神经网络收到广泛的应用，但是在90年代末，神经网络的流行度逐渐消失。但最近由于计算机运行速度的加快，能够运行大规模的神经网络，同时因为人工智能的兴起，神经网络算法重新获得人们的追捧。

\qquad 人脑实际上也是一个拥有学习能力的“机器”，同时它开放了许多“接口”可以使用。若将视觉神经连载“听觉锥”部位，则听觉锥部位也能学着“看”东西。而神经网络正是向模仿人脑的学习机制，试图用一种算法来处理多种问题。

2、神经网络模型的描述

\qquad 简单的神经网络模型包括输入层(Input Layer)，输出层(Output Layer)和中间层 (隐藏层-Hidden Layer)。

\qquad 中间层由“激励”(activation)神经元组成，如$a_i^{(j)}$表示第j层的第i个激励神经元。权重符号说明：${\Theta }_{12}^{(2)}$表示前一层(第1层)的第二个神经元传递到后一层(第2层)的第一个神经元的权重。在上一层向下一层传递的时候，通常在上一层添加偏置(bias units)，所以第j层的权重的维度可以通过上一层神经元的个数$s_j$和下一城神经元的个数$s_{j+1}$来计算：$${\Theta }^{(j)}=s_{j+1}\ast (s_j+1)$$ \qquad 上图所示的简单神经网络的权重计算方法如下所示：

\qquad 定义新的变量$z_k^{(j)}$表示第j层的第k行参数，则可将变量$z_k^{(j)}$表示为：

\qquad 将x也向量化表示：

\qquad 则中间层激活神经元可以表示为：

\qquad 为了统一起见，将输入层x作为$a^{(1)}$，则变量$z_k^{(j)}$可以如下表示:

\qquad 第j层激活神经元的计算可以表示为以下：

\qquad 最终输出层即为$a^{(j+1)}$：

\qquad 下图展示了上述简单神经网络的计算过程：

3、神经网络的应用

3.1 逻辑与门(AND)

\qquad 使用神经网络表示逻辑“与门”的方法如下所示：令变量$x_1$和变量$x_2$为二元变量 { 0 , 1 } \{0,1\} {0,1}，神经网络的表示方法如下所示：

\qquad 计算结果如下所示，可以看出，通过赋予合适的权重，可以得到$x_{1}AND{x}_2$同样的效果。

3.2 逻辑或门(OR)

\qquad 逻辑或门的神经网络设计可以如下所示：

3.3 逻辑非门(NOT)

\qquad 逻辑非门的神经网络设计可以如下所示：

3.4 逻辑异或门(NOR)

\qquad 逻辑异或门的神经网络设计可以如下所示：

3.5 多元分类(Multi-class Classification)

\qquad 判别四种物体分类的神经网络设计如下所示：

THE END