1. 求导

1.1 求导公式

1.2 求导含义

• 导数：表示某个瞬间的变化量
  • x的 “微小变化” 将导致函数f（x）的值在多大程度上发生变化
  • 微小变化的h无限趋近0
    $$\begin{array}{rl}\frac{df(x)}{dx}& =\underset{h\to 0}{\lim }\frac{f(x+h)-f(x)}{h}\end{array}$$

2. 常见激活函数

2.1 sigmoid函数

• 原函数
  $$\begin{array}{rl}sigmoid(x)& =\frac{1}{1+e^{-x}}\end{array}$$

• 函数图
  

• 求导过程
  $$\begin{array}{rl}sigmoi{d}^{\prime }(x)& =(\frac{1}{1+e^{-x}}{)}^{\prime }\\ & =\frac{0-(1+e^{-x}{)}^{\prime }}{(1+e^{-x}{)}^2}\\ & =\frac{e^{-x}}{(1+e^{-x}{)}^2}\\ & =\frac{1+e^{-x}-1}{(1+e^{-x})(1+e^{-x})}\\ & =\frac{1+e^{-x}-1}{(1+e^{-x})}.\frac{1}{(1+e^{-x})}\\ & =[1-\frac{1}{(1+e^{-x})}].\frac{1}{(1+e^{-x})}\\ & =[1-sigmoid(x)]\ast sigmoid(x)\end{array}$$

2.2 Tanh函数

• 原函数
  $$\begin{array}{rl}Tanh(x)& =\frac{e^x-e^{-x}}{e^x+e^{-x}}\end{array}$$

• 函数图
  

• 求导过程
  $$\begin{array}{rl}Tan{h}^{\prime }(x)& =\frac{e^x-e^{-x}}{e^x+e^{-x}}{)}^{\prime }\\ & =\frac{(e^x-e^{-x}{)}^{\prime }(e^x+e^{-x})-(e^x-e^{-x})(e^x+e^{-x}{)}^{\prime }}{(e^x+e^{-x}{)}^2}\\ & =\frac{(e^x+e^{-x})(e^x+e^{-x})-(e^x-e^{-x})(e^x-e^{-x})}{(e^x+e^{-x}{)}^2}\\ & =\frac{(e^x+e^{-x}{)}^2-(e^x-e^{-x}{)}^2}{(e^x+e^{-x}{)}^2}\\ & =1-\frac{(e^x-e^{-x}{)}^2}{(e^x+e^{-x}{)}^2}\\ & =1-(\frac{e^x-e^{-x}}{e^x+e^{-x}}{)}^2\\ & =1-Tan{h}^2(x)\end{array}$$

2.3 ReLU函数

• 原函数
  $$Relu(x）=\{\begin{array}{ll}x& x\ge 0\\ 0& x<0\end{array}$$

• 函数图
  

• 求导
  $$Rel{u}^{\prime }(x)=\{\begin{array}{ll}1& x\ge 0\\ 0& x<0\end{array}$$