深达学习最常用的10个激活函数！（数学原理+优缺点）

2024-12-10 金融

ReLU 的疑虑。与 ReLU 相比，ELU 有倒数第绝对值，这亦会使酪氨酸的千分之比起零。均绝对值酪氨酸比起于零可以使研读更为较慢，因为它们使局部更为比起连续性局部。

显然，ELU 具 ReLU 的所有缺点，并且：

未 Dead ReLU 疑虑，控制器的千分之比起 0，以 0 为中的心； ELU 通过增大偏置偏移的影响，使较长时间局部更为比起于单位连续性局部，从而使均绝对值向零加速研读； ELU 在相当大的输出下亦会饱和至倒数第绝对值，从而增大前向扩散的变异和信息。

一个小疑虑是它的量度超强度更为高。与 Leaky ReLU 类似，尽管某种程度比 ReLU 要好，但目前在显践中的未应有的迹象表明 ELU 总是比 ReLU 好。

6. PReLU（Parametric ReLU）

PReLU 也是 ReLU 的改进旧版：

看一下 PReLU 的不等式：常量α多半为 0 到 1 错综复杂的数字，并且多半相比相当大。

PReLU 的缺点如下：

在倒数第绝对平方根，PReLU 的曲率半径相当大，这也可以不必要 Dead ReLU 疑虑。与 ELU 相比，PReLU 在倒数第绝对平方根是线性浮点。尽管曲率半径很小，但才亦会趋于 0。

7. Softmax

Softmax 是可用多类分类疑虑的酪氨酸给定，在多类分类疑虑中的，超过两个类标签则能够类成员关系。对于长度为 K 的若有显分量，Softmax 可以将其压缩为长度为 K，绝对值在（0，1）区域内，并且分量中的元素的总和为 1 的显分量。

Softmax 与较长时间的 max 给定不同：max 给定只能控制器最大绝对值，但 Softmax 确保相当大的绝对值具相当大的机率，并且才亦会这样一来扔掉。我们可以认为它是 argmax 给定的机率旧版或「soft」旧版。

Softmax 给定的乘法结合了类似控制器绝对值的所有因子，这显然 Softmax 给定获得的各种机率彼此相关。

Softmax 酪氨酸给定的主要好处是：

在请注意必纤；倒数第输出的局部为零，这显然对于该区域的酪氨酸，加权才亦会在反向扩散在此期间更为新，因此亦会产生永不酪氨酸的死亡神经元。

8. Swish

给定函数：y = x * sigmoid (x)

Swish 的建筑设计受到了 LSTM 和高速网络中的 gating 的 sigmoid 给定使用的启发。我们使用相同的 gating 绝对值来简化 gating 组态，这称做 self-gating。

self-gating 的缺点在于它只能够简单的内积输出，而普通的 gating 则能够多个内积输出。这使得诸如 Swish 之类的 self-gated 酪氨酸给定能够轻松替换以单个内积为输出的酪氨酸给定（例如 ReLU），而无需更为改隐密使用量或常量数目。

Swish 酪氨酸给定的主要缺点如下：

「无基本要素性」有助于防止慢速训练在此期间，局部日渐比起 0 并加剧饱和；（同时，有基本要素性也是有占优势的，因为有基本要素酪氨酸给定可以具很超强的特例化，并且较少的倒数第输出疑虑也能解决）； formula_恒> 0；平滑度在改进和泛化中的起了关键作用。

9. Maxout

在 Maxout 层，酪氨酸给定是输出的最大绝对值，因此只有 2 个 maxout 终端的多层感知机就可以拟合若有的凸给定。

单个 Maxout 终端可以解释为对一个显绝对值给定进行并行线性最简单 (PWL) ，其中的给定平面图上若有两点错综复杂的直角设在平面图（凸给定）的上端。

Maxout 也可以对 d 维分量（V）显现：

也就是说两个凸给定 h_1(x) 和 h_2(x)，由两个 Maxout 终端最简单化，给定 g(x) 是连续的 PWL 给定。

因此，由两个 Maxout 终端组合成的 Maxout 层可以很好地最简单任何连续给定。

10. Softplus

Softplus 给定：f（x）= ln（1 + exp x）

Softplus 的formula_为

，也称做 logistic / sigmoid 给定。

Softplus 给定类似于 ReLU 给定，但是相比较平滑，像 ReLU 一样是双侧抑制。它的接受区域很广：(0, + inf)。

。