HQQ

分类: 量化与低秩

HQQ

定义

一种无需校准数据的后训练量化方法,通过半二次分裂(Half-Quadratic Splitting)优化量化参数,实现快速且高质量的权重量化

核心要点

将量化问题分解为两个交替优化的子问题,避免对校准数据的依赖

支持多种比特宽度(2-bit, 3-bit, 4-bit)

计算效率高,适合大模型的快速量化部署

作为 PTQ 后端,可与上层精度分配策略(如 NSDS)正交组合

代表工作

NSDS: 使用 HQQ 作为默认量化后端

相关概念

PTQ

GPTQ

混合精度

标量量化