跳至主要內容

激活函数合集

Alex Sun2023年3月1日AI机器学习AI机器学习大约 2 分钟

各种激活函数合集。

1. 简单激活函数

1.1 恒等函数

f(x)=x f(x) = x

f′(x)=1 f'(x) = 1

demo
demo

1.2 单位阶跃函数

f(x)={0,x<01,x⩾0 f(x) = \begin{cases} 0, & x < 0 \\ 1, & x \geqslant 0 \end{cases}

f′(x)={0,x≠0 f'(x) = \begin{cases} 0, & x \neq 0 \end{cases}

demo
demo

1.3 Sigmoid 函数

f(x)=11+e−x f(x) = \frac{1}{1 + \mathrm{e}^{-x} }

f′(x)=f(x)(1−f(x))=e−x(1+e−x)2=14cosh⁡2(x/2) \begin{aligned} f'(x) &= f(x)\left(1 - f(x)\right) \\ &= \frac{ \mathrm{e}^{-x} }{ (1 + \mathrm{e}^{-x})^2 } \\ &= \frac{1}{4\cosh^2\left(x / 2\right)} \end{aligned}

demo
demo

1.4 双曲正切（Tanh）

f(x)=tanh⁡(x)=sinh⁡(x)cosh⁡(x)=ex−e−xex+e−x \begin{aligned} f(x) &= \tanh(x) \\ &= \frac{\sinh(x)}{\cosh(x)} \\ &= \frac{\mathrm{e}^x - \mathrm{e}^{-x} }{\mathrm{e}^x + \mathrm{e}^{-x} } \end{aligned}

f′(x)=1−f2(x)=1cosh⁡2(x) \begin{aligned} f'(x) &= 1 - f^2(x) \\ &= \frac{1}{\cosh^2(x)} \end{aligned}

demo
demo

1.5 反正切（Arctan）

f(x)=arctan⁡(x) f(x) = \arctan(x)

f′(x)=1x2+1 f'(x) = \frac{1}{x^2 + 1}

demo
demo

1.6 Softsign 函数

f(x)=x1+∣x∣ f(x) = \frac{x}{1 + \left|x\right|}

f′(x)=1(1+∣x∣)2 f'(x) = \frac{1}{(1+|x|)^2}

demo
demo

1.7 反平方根函数（ISRU）

f(x)=x1+αx2 f(x) = \frac{x}{ \sqrt{1 + \alpha x^2} }

f′(x)=(11+αx2)3 f'(x) = \left(\frac{1}{ \sqrt{1 + \alpha x^2} }\right)^3

demo
demo

2. 线性激活单元

2.1 线性整流函数（ReLU）

f(x)=max⁡(0, x) f(x) = \max(0,\, x)

f′(x)={0,x<01,x>0 f'(x) = \begin{cases} 0, & x < 0 \\ 1, & x > 0 \end{cases}

demo
demo

2.2 带泄露的线性整流函数（Leakly ReLU）

f(x)=max⁡(αx, x), α∈(0, 1) f(x) = \max(\alpha x,\, x),\, \alpha \in (0,\, 1)

f′(x)={α,x<01,x>0 f'(x) = \begin{cases} \alpha, & x < 0 \\ 1, & x > 0 \end{cases}

一般取 α=0.01\alpha = 0.01。

demo
demo

2.3 指数线性单元（ELU）

f(x)={α(ex−1),x<0x,x⩾0 f(x) = \begin{cases} \alpha(\mathrm{e}^x - 1), & x < 0 \\ x, & x \geqslant 0 \end{cases}

f′(x)={αex,x<01,x>0 f'(x) = \begin{cases} \alpha\mathrm{e}^{x}, & x < 0 \\ 1, & x > 0 \end{cases}

demo
demo

2.4 扩展型指数线性单元（SELU）

f(x)=λ{α(ex−1),x<0x,x⩾0 f(x) = \lambda\begin{cases} \alpha(\mathrm{e}^x - 1), & x < 0 \\ x, & x \geqslant 0 \end{cases}

f′(x)=λ{αex,x<01,x>0 f'(x) = \lambda\begin{cases} \alpha\mathrm{e}^{x}, & x < 0 \\ 1, & x > 0 \end{cases}

其中

a≈1.6732632423543772848170429916717λ≈1.0507009873554804934193349852946 \begin{aligned} a &\approx 1.6732632423543772848170429916717 \\ \lambda &\approx 1.0507009873554804934193349852946 \end{aligned}

demo
demo

2.5 SiLU 函数（Swish 函数）

f(x)=xσ(x)=x1+e−x \begin{aligned} f(x) &= x\sigma(x) \\ &= \frac{x}{1 + \mathrm{e}^{-x} } \end{aligned}

f′(x)=f(x)+σ(x)(1−f(x))=x+ex+14cosh⁡2(x/2) \begin{aligned} f'(x) &= f(x) + \sigma(x)\left(1 - f(x)\right) \\ &= \frac{x + \mathrm{e}^x + 1}{4\cosh^2\left(x / 2\right)} \end{aligned}

demo
demo

2.6 Softplus

f(x)=log⁡(1+ex) f(x) = \log(1 + \mathrm{e}^x)

f′(x)=ex1+ex f'(x) = \frac{\mathrm{e}^x}{1 + \mathrm{e}^x}

demo
demo

2.6 Hard-Swish

2.7 Mish

2.8 GELU

3. 多参数激活函数

3.1 Softmax 函数

softmax(zi)=ezi∑k=1Cezk \mathrm{softmax}(z_i) = \frac{\mathrm{e}^{z_i}}{\sum_{k=1}^C \mathrm{e}^{z_k}}

关于 Softmax 我们之后会进行讨论，TODO 增加链接。

3.2 Maxout 函数