LoRA

分类: 量化与低秩

LoRA (Low-Rank Adaptation)

定义

通过在预训练权重旁添加低秩分解的可训练矩阵对来实现参数高效微调的方法。冻结原始权重 $W_0$，只训练低秩增量 $\Delta W = BA$。

数学形式

$h = (W_0 + \Delta W)x = W_0 x + BAx$ 其中 $B \in \mathbb{R}^{d \times r}$，$A \in \mathbb{R}^{r \times k}$，$r \ll \min(d, k)$。

核心要点

可训练参数量与 rank $r$ 成正比，通常只需原始参数的 0.1%-1%

训练后可将 $\Delta W$ 合并回原始权重，推理时零额外开销

在 LLM 微调场景中几乎成为事实标准

变体：DoRA（方向+幅度分解）、QLoRA（量化+LoRA）、PiSSA（主奇异值子空间适配）

代表工作

Hu et al., 2022: LoRA 原始论文

在量化误差补偿中也被使用（如 SERQ 的低秩误差重建）

相关概念

DoRA

PTQ

PEFT