SLEB
分类: 剪枝与稀疏化
SLEB
定义
SLEB 是一种针对 LLM 的结构化层剪枝方法，通过逐 block 评估和移除冗余的 Transformer 层来压缩模型，属于深度方向的结构化剪枝。
核心要点
以 Transformer block（一层 attention + FFN）为剪枝粒度
评估每个 block 的重要性（通常基于输出变化或 calibration loss），移除冗余 block
属于深度剪枝（depth pruning），与宽度剪枝（channel/head pruning）互补
在 LLaMA 等 LLM 上验证，可移除 20-30% 的层而性能损失可控
代表工作
SLEB (Song et al., 2024): 原始论文