LTH
分类: 剪枝与稀疏化
LTH
定义
Lottery Ticket Hypothesis（彩票假设）：密集随机初始化的神经网络中存在一个稀疏子网络（“中奖彩票”），该子网络以相同的初始权重独立训练时，可在相当或更少的迭代次数内达到与完整网络相当的精度
核心要点
由 Frankle & Carlin (2019) 提出
通过 Iterative Magnitude Pruning (IMP) 找到中奖彩票：训练→剪枝→重置到初始权重→重新训练
暗示大网络的容量大部分是冗余的
IMP 过程计算代价极高（需多轮完整训练）
后续工作（如 SNIP, GraSP）试图在初始化阶段直接找到中奖彩票
在大规模网络上 IMP 不稳定，需要 “rewinding” 到早期 epoch 而非初始化
代表工作
GNAP: 与 LTH 系列方法对比，GNAP 无需多轮训练-剪枝-重置迭代