Dropout

分类: 深度学习基础

type:: concept aliases:: Dropout, 随机失活

  • Dropout

  • 定义

  • 训练时随机将神经元输出置零的正则化技术，以概率 pp 丢弃每个神经元，推理时关闭并缩放

  • 数学形式

h~i=mi⋅hi,mi∼Bernoulli(1−p)\tilde{h}_i = m_i \cdot h_i, \quad m_i \sim \text{Bernoulli}(1-p)

  • 核心要点

  • 防止过拟合，隐式地训练了指数级子网络的集成

  • 由 Srivastava et al. (2014) 提出

  • HiAP 中高温 Gumbel-Sigmoid 门控在早期训练阶段行为类似随机 Dropout

  • 代表工作

  • HiAP: 高温阶段门控行为类似 Dropout 的随机性

  • 相关概念

  • Gumbel-Sigmoid

  • 可学习门控