AdaLoRA

分类: 量化与低秩

AdaLoRA

定义

AdaLoRA 是 LoRA 的自适应版本，根据各层/模块的重要性动态分配 LoRA 的秩（rank），重要的层分配更高的秩，不重要的层降低秩或跳过。

核心要点

通过 SVD 分解参数化 LoRA 矩阵

训练过程中动态调整各模块的秩

重要性通过梯度信息估计

在相同参数预算下优于固定秩 LoRA

代表工作

Zhang et al., “AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning” (ICLR 2023)

相关概念

LoRA — 基础方法

DoRA — 另一种 LoRA 改进