BitNet

分类: 量化与低秩

BitNet

定义

  • 微软提出的三值化 LLM 架构，权重限制为 {-1, 0, 1}，从训练阶段就内置极端量化，从而大幅降低推理时的计算和存储需求

核心要点

  • BitNet b1.58: 权重为 {-1, 0, 1} 三值
  • 将乘法运算替换为加法/减法，极大简化硬件需求
  • 需要量化感知训练 (QAT)，不能直接对预训练模型做 PTQ
  • Bitnet.cpp 是其配套的边缘推理引擎

代表工作

  • （待补充）

相关概念