InfLoRA

分类: 量化与低秩

InfLoRA

定义

InfLoRA 是面向持续学习(continual learning)场景的 LoRA 变体,通过约束新任务的 LoRA 更新方向不干扰旧任务的子空间,减轻灾难性遗忘。

核心要点

利用旧任务的输入子空间约束新 LoRA 的更新方向

在持续学习场景下显著减轻遗忘

比 EWC 等传统方法更高效

相关概念

LoRA — 基础方法

灾难性遗忘 — 核心问题

EWC — 经典持续学习方法