LAMP

分类: 剪枝与稀疏化

定义

一种全局非结构化剪枝方法，通过最小化剪枝引入的逐层输出失真来自适应地分配各层的稀疏度，避免了统一稀疏率对敏感层的过度剪枝

传统全局幅度剪枝按绝对值排序所有参数，忽略了层间尺度差异

LAMP 为每层分配不同的稀疏度，基于最小化 $\|W_l x - \hat{W}_l x\|$ 的 layer-wise 失真

推导出闭式解：最优稀疏度分配可通过对各层 Fisher 信息或 Hessian 近似来计算

在 CNNs 和 Transformers 上均优于均匀稀疏度分配

SLAMP 将其推广到 SNN 的时序维度

Lee et al. (2021): “Layer-adaptive sparsity for the Magnitude-based Pruning” (ICLR 2021)