剪枝压缩比

分类: 剪枝与稀疏化

剪枝压缩比

定义

剪枝操作产生的模型大小压缩倍率，由剪枝比例决定

数学形式

$p$: 剪枝比例（被移除的参数占比）

$C_{\mathcal{P}}$: 压缩比（原模型大小 / 压缩后大小）

核心要点

剪枝比例 $p = 0.5$ 对应 $C_{\mathcal{P}} = 2$（压缩为原来的一半）

与量化压缩比 $C_{\mathcal{Q}} = B_{\text{orig}} / B_{\mathcal{Q}}$ 类似，用于统一衡量压缩强度

在 Compression Order 中用于计算 CER（Compression Equivalent Ratio）

代表工作

Compression Order: 用剪枝压缩比和量化压缩比统一度量压缩强度

相关概念

结构化剪枝

SparseGPT

PTQ