激活函数

激活函数 $f_{AN}$ 接收节点输入信号和偏差，以 $x=net-\theta$ 表示，决定输出。一个好的激活函数需要满足以下条件：

（1）非线性，即导数不是常数，其目的在于保证多重网络不退化成单层线性网络；

（2）几乎处处可微：可微性保证了再梯度优化中梯度的可计算性；

（3）计算简单：激活函数在神经网络前向传播过程中的使用次数与神经元的个数成正比，因此保证其计算的简单性是很有必要的；

（4）非饱和性（saturation）：饱和指的是在某些区间梯度接近于零（即梯度消失），使得参数无法继续更新的问题；

（5）单调性（monotonic）：即导数符号不变，单调性使得激活函数的梯度方向不会经常改变，从而使得训练更容易；

（6）输出范围有限：有限的输出范围使得网络对于一些比较大的输入也会比较稳定。但这会导致梯度消失问题；

（7）接近恒等变换（identity）：即约等于x。这样的好处是使得输出的幅值不会随着深度的增加而发生显著的增加，从而使网络更为稳定，同时梯度也能够更容易地回传。但与非线性存在矛盾。

（8）参数少：大部分激活函数都是没有参数的；使用带参数的激活函数会略微增加网络的大小；

（9）归一化：主要思想是使样本分布自动归一化到零均值、单位方差的分布，从而稳定训练；

（10）zero-centered:

对多数激活函数（线性除外），应当满足：$f_{AN}(-\infty )=0或f_{AN}(-\infty )=-1$，且有$f_{AN}(\infty )=1$。

常用激活函数有：

1.线性函数：$f_{AN}(x)=\lambda \cdot x$，$\lambda$ 为一常数；

2.阶跃函数：$f_{AN}(x)=\{\begin{array}{rlr}{\gamma }_1,& & ifx\ge 0\\ {\gamma }_2,& & ifx<0\end{array}$，其中，常取 ${\gamma }_1=1,{\gamma }_2=0or-1$;

3.斜面函数：$f_{AN}(x)=\{\begin{array}{rlr}\gamma ,& & ifx\ge ϵ\\ x,& & if-ϵ<x<ϵ\\ -\gamma ,& & ifx\le -ϵ\end{array}$

4.$Sigmoid$ 函数：

$f_{AN}(x)=\frac{1}{1+e^{-\lambda x}}$；其值域为 $[0,1]；$通常，$\lambda =1$；

导数：当 $\lambda =1$ 时，$f_{AN}^{\prime }(x)=\frac{e^{-\lambda x}}{(1+e^{-\lambda x}{)}^2}=f_{AN}(x)\cdot f_{AN}(-x)=f_{AN}(x)\cdot [1-f_{AN}(x)]$；其值域为 $[0,1/4]$

5.双曲正切函数：

$f_{AN}(x)=\frac{e^{\lambda x}-e^{-\lambda x}}{e^{\lambda x}+e^{-\lambda x}}\approx \frac{2}{1+e^{-\lambda x}}-1$，其值域为 $[-1,1]$，通常，$\lambda =1$；

导数：当 $\lambda =1$ 时，$f_{AN}(x)=1-(\frac{e^{\lambda x}-e^{-\lambda x}}{e^{\lambda x}+e^{-\lambda x}}{)}^2=1-f_{AN}^2$，其值域为 $[0,1]$；

6.高斯函数：$f_{AN}(x)=e^{x^2/{\delta }^2}$，其中，$\theta$ 为高斯分布的均值， ${\delta }^2$ 为方差；

7.ReLU函数：

$f_{AN}(x)=max(0,x)=\{\begin{array}{rlr}x,& & ifx>0\\ 0,& & ifx\le 0\end{array}$，

其导数为$f_{AN}^{\prime }(x)=\{\begin{array}{rlr}1,& & ifx>0\\ 0,& & ifx\le 0\end{array}$，

ReLU函数的优点在于梯度和计算量小，缺点在于均值不为0，无上界等，因此有变种，如：

LeakyReLU：$f_{AN}(x)=max(\alpha x,x),\alpha 可取0.01$；

ELU：fAN(x)=max{α(ex−1),x}\displaystyle f_{AN}(x)=max\{\alpha(e^x-1),x\}fAN​(x)=max{α(ex−1),x};

Noisy ReLU：fAN(x)=max{0，x+Y}，Y∼N(0,σ(x))\displaystyle f_{AN}(x)=max\{0，x+Y\}，Y\sim N(0,\sigma(x))fAN​(x)=max{0，x+Y}，Y∼N(0,σ(x));

ReLU上界设置：$f_{AN}(x)=min(6,max(0,x))$

SELU：fAN(x)=λ⋅max{α(ex−1),x}\displaystyle f_{AN}(x)=\lambda\cdot max\{\alpha(e^x-1),x\}fAN​(x)=λ⋅max{α(ex−1),x}

$......$

8.Maxout函数

与常规激活函数不同的是,它是一个可学习的分段线性函数，任何一个凸函数，都可以由线性分段函数进行逼近近似，因此，Maxout的拟合能力非常强。

假设 $\omega$ 是 2 维的，则有 fAN=max{ω1Tx+b1,ω2Tx+b2}\displaystyle f_{AN}=max\{\omega^T_1\mathbf x+b_1,\omega^T_2\mathbf x+b_2\}fAN​=max{ω1T​x+b1​,ω2T​x+b2​}；

但从 Maxout 激活函数中可以看出，每个神经元中有两组参数 $(\omega ,b)$，使得参数量增加了一倍，导致网络大小的增加。