Magnitude Pruning
分类: 剪枝与稀疏化
Magnitude Pruning
定义
根据权重绝对值大小进行剪枝的经典方法，移除幅度最小的权重（或维度），假设小权重对网络输出影响最小
数学形式
核心要点
最早由 Han et al. (2015) 系统提出，是非结构化剪枝的经典 baseline
可扩展为维度级（Magnitude-Dim）：聚合每个维度上所有权重的绝对值作为重要性
简单但有效，常作为剪枝研究的下界基线
不考虑任务信息或激活分布
代表工作
DieT: 使用 Magnitude-Dim 作为基线，DieT 在所有稀疏度下均大幅超越