• logit

$${\rm logit}(p) = \log \left(\frac p {1 - p} \right) $$

• sigmoid

$$\sigma(x) = \frac 1 { 1 + e^{-x}} $$

与 logit 函数互为反函数
^74173b

• rbf 径向基函数

$$\kappa(x_1, x_2) = \exp \left( - \frac {\parallel x_1 - x_2 \parallel^2}{2\sigma^2} \right) $$

• softmax

$${\rm softmax}(x) = \frac {\exp x} {\sum \exp x} $$ ^f5ba8e - `softplus` $$

{\rm softplus}(x) = \log(1 + e^x)

$$- $\Phi$ 标准正态分布的 CDF （Cumulative Distribution Function，累积分布函数） $$

\Phi(z) = P(Z < z) = \frac 1 {\sqrt {2\pi} }\int_{-\infty}^z e^{t^2 / 2} {\rm d} t

$$$$