EWC

分类: 训练优化

EWC

定义

EWC (Elastic Weight Consolidation) 是一种经典的持续学习方法，通过在损失函数中加入正则项（基于 Fisher 信息矩阵），约束重要参数不偏离旧任务的最优值。

数学形式

L(θ)=Lnew(θ)+λ2∑iFi(θi−θi∗)2\mathcal{L}(\theta) = \mathcal{L}_{\text{new}}(\theta) + \frac{\lambda}{2} \sum_i F_i (\theta_i - \theta_{i}^*)^2

核心要点

用 Fisher 信息矩阵估计每个参数对旧任务的重要性

重要参数被”弹性”约束在旧值附近

计算和存储开销与参数量成正比

是持续学习领域的经典 baseline

代表工作

Kirkpatrick et al., “Overcoming catastrophic forgetting in neural networks” (PNAS 2017)

相关概念

灾难性遗忘 — EWC 解决的核心问题

continual learning — 所属领域

LoRA — 另一种减轻遗忘的方法（通过限制更新空间）