SliceGPT

分类: 剪枝与稀疏化

SliceGPT

定义

SliceGPT 是 Ashkboos et al. (2024) 提出的 LLM 结构化剪枝方法，通过对权重矩阵进行旋转变换（基于 PCA），使得部分行/列可以被直接”切片”删除而不显著影响性能。

数学形式

$W' = Q^T W Q$

对旋转后的权重矩阵 $W'$ 按特征值大小排序，直接删除贡献最小的行/列（slice off）。

核心要点

无需重训练的结构化剪枝方法

通过旋转不变性将非结构化的重要性转化为结构化的可删除性

支持 LLaMA、OPT 等主流 LLM

与 SparseGPT 互补：SparseGPT 做非结构化稀疏，SliceGPT 做结构化删除

代表工作

Ashkboos et al. “SliceGPT: Compress Large Language Models by Deleting Rows and Columns” (ICLR 2024)

相关概念

SparseGPT

结构化剪枝

LLM-Pruner