depth pruning
分类: 剪枝与稀疏化
Depth Pruning
定义
Depth pruning（深度剪枝/层剪枝）是一种结构化剪枝策略，通过直接移除网络中的整层（或 Transformer block）来减少模型深度，从而降低计算量和参数量。
核心要点
粒度最粗的结构化剪枝：直接删除整层，不改变层内结构
重要性评估方法：Block Influence (BI)、层间 cosine 相似度、Taylor 展开等
通常中间层冗余度高于首尾层
与 width pruning 互补，可组合使用（如 Minitron 的混合剪枝）
删层后通常需要微调或蒸馏来恢复性能
代表工作
ShortGPT：基于 Block Influence 的层剪枝
Minitron：混合 depth + width 剪枝