MXINT

分类: 量化与低秩

定义

OCP (Open Compute Project) 标准定义的微缩放整数数值格式，每个块（block）共享一个 scale factor，块内元素使用低位整数表示

$x_{\text{dequant}} = \text{scale} \times x_{\text{int}}$

其中 scale 为 block-wise 共享的缩放因子， $x_{\text{int}}$ 为 4/8-bit 整数

OCP MX 标准的一部分（与 MXFP 互补）

Block-wise 量化：每 32 个元素共享一个 8-bit scale

常见格式：MXINT8（8-bit 整数 + shared scale）、MXINT4

硬件支持逐步增加，NVIDIA Blackwell 架构已支持

与 MXFP 可通过 Slice-and-Scale 无损转换

OCP Microscaling Formats Specification (2023)

MF-QAT: 多格式 QAT 同时训练 MXINT 和 MXFP