NormalFloat
分类: 量化与低秩
NormalFloat
定义
QLoRA 提出的 4-bit 量化数据类型，基于正态分布分位数设计量化点，信息论最优地量化正态分布权重
核心要点
量化点对应标准正态分布的等概率分位数，使每个量化区间包含相同概率质量
对于权重近似正态分布的预训练模型，NF4 理论上是信息保留最优的 4-bit 格式
是 QLoRA 高效微调的核心组件之一，配合双重量化进一步压缩
与均匀量化相比，在分布尾部有更高的分辨率
代表工作
Dettmers et al. (2023): QLoRA — Efficient Finetuning of Quantized Language Models