在生物意义上的神经元中，只有前面的树突传递的信号的加权和值大于某一个特定的阈值的时候，后面的神经元才会被激活。

简单的说激活函数的意义在于判定每个神经元的输出 。

放在人脸识别卷积神经网络中来思考，卷积层的激活函数的意义在于这一块区域的特征强度如果没有达到一定的标准，就输出0，表明这种特征提取方式(卷积核w)不能在该块区域提取到特征，或者说这块区域的这种特征很弱。由于输出0时，激活函数梯度几乎都为0，所以在特征很弱的区域，梯度几乎不下降，也就是说，和该特征无关的区域不会影响到该特征提取方式的训练。

反过来说，如果没有激活函数，就算特征很弱时，仍然可以得到输出，后面的层次继续把这个输出当成一个特征使用，这是不合理的。

非线性激活单元受启发于人类大脑的神经元模型。在神经元模型中，树突将信号传递到细胞体，信号在细胞体中组合相加。如果最终之和高于某个阈值，那么神经元将会激活，向其轴突输出一个峰值信号传递至下一个神经元。

引入非线性激活函数的主要目的是增加神经网络的非线性性。因为如果没有非线性激活函数的话，每一层输出都是上层输入的线性函数，因此，无论神经网络有多少层，得到的输出都是线性函数，这就是原始的感知机模型，这种线性性不利于发挥神经网络的优势。

常用的非线性激活单元如图4所示。目前比较常用的有ReLu和LReLu，Logistic(Sigmoid)单元由于其饱和区特性导致整个网络梯度消失而逐渐退出历史舞台(有的时候最后一层会用Sigmoid将输出限制在0.0-1.0)。