SliM-LLM

分类: 量化与低秩

SliM-LLM

定义

一种校准依赖的层级混合精度量化方法,通过分析层的显著性(salience)来指导比特分配

核心要点

使用校准数据计算每层权重的重要性分数

支持与不同 PTQ 后端(如 GPTQ)结合

主要局限:依赖校准数据,可能对特定数据分布过拟合

代表工作

NSDS: 作为校准依赖 LMPQ 的主要对比方法

相关概念

混合精度

PTQ

AWQ

GPTQ