MXFP

分类: 量化与低秩

定义

OCP 标准定义的微缩放浮点数格式，每个块共享一个 scale factor，块内元素使用低位浮点数表示（含符号位、指数位、尾数位）

$x_{\text{dequant}} = \text{scale} \times (-1)^s \times 2^{e-\text{bias}} \times (1 + m)$

其中 scale 为 block-wise 共享缩放因子， $s, e, m$ 分别为符号、指数、尾数

OCP MX 标准的一部分（与 MXINT 互补）

常见格式：MXFP8（E5M2/E4M3）、MXFP6、MXFP4

浮点格式比整数格式有更好的动态范围，适合激活值量化

Block size 通常为 32，共享 8-bit scale

与 MXINT 之间可通过 Slice-and-Scale 转换

OCP Microscaling Formats Specification (2023)

MF-QAT: 跨 MXFP/MXINT 格式的统一 QAT