WoodFisher

分类: 剪枝与稀疏化

定义

WoodFisher 是 Singh & Alistarh (2020) 提出的基于二阶信息的剪枝方法，使用 Woodbury 矩阵恒等式高效计算逆 Hessian，从而实现精确的 OBS（Optimal Brain Surgeon）风格剪枝。

$\delta \boldsymbol{\theta} = -\frac{[\mathbf{H}^{-1}]_{:,q}}{[\mathbf{H}^{-1}]_{q,q}} \theta_q$

其中 Hessian 逆通过 Woodbury 公式递推计算： $(\mathbf{A} + \mathbf{u}\mathbf{v}^T)^{-1}$ 。

OBS 的高效近似，避免直接计算和存储完整 Hessian 逆

是 SparseGPT 的重要前驱工作（SparseGPT 进一步发展了逐行 Hessian 更新策略）

支持全局剪枝决策，而非逐层独立剪枝

在中高稀疏度下显著优于幅度剪枝

Singh & Alistarh “WoodFisher: Efficient Second-Order Approximation for Neural Network Compression” (NeurIPS 2020)