网络剪枝
分类: 剪枝与稀疏化
网络剪枝
定义
通过移除神经网络中不重要的参数或结构来减少模型规模和计算量的压缩技术
核心要点
非结构化剪枝: 移除单个权重，产生稀疏矩阵，需要特殊硬件支持
结构化剪枝: 移除整个通道/层/注意力头，直接减少计算量
Intra-layer 剪枝: 层内参数级别的稀疏化（如 Wanda, SparseGPT）
Inter-layer 剪枝: 整层级别的移除（如 LayerDrop, ShortGPT）
剪枝准则：幅度、梯度、Fisher 信息、Taylor 展开等
代表工作
Wanda: 基于权重和激活幅度的 LLM 非结构化剪枝
SparseGPT: 基于 Hessian 逆的一次性 LLM 剪枝
ShortGPT: 基于层冗余分析的 LLM layer dropping
Pruning-on-Representations: 理论分析剪枝在不同任务类型上的有效性差异