Sigmoid

分类: 深度学习基础

Sigmoid

定义

将实数映射到 (0,1)(0, 1) 区间的 S 型激活函数，常用于二分类输出和门控机制

数学形式

σ(x)=11+e−x\sigma(x) = \frac{1}{1 + e^{-x}}

核心要点

输出范围 (0,1)(0, 1)，可解释为概率

梯度：σ′(x)=σ(x)(1−σ(x))\sigma'(x) = \sigma(x)(1 - \sigma(x))，在两端趋近于 0（梯度消失问题）

常与 Binary Cross-Entropy 配合用于二分类

在门控机制中广泛使用（SiLU, Gumbel-Sigmoid, attention gates）

代表工作

TIDE: router MLP 最终输出使用 Sigmoid 作为退出概率

相关概念

SiLU

Softmax

Binary Cross-Entropy

Gumbel-Sigmoid