类增量学习

分类: 视觉任务

类增量学习（Class Incremental Learning, CIL）

定义

模型按序列接收包含新类别的任务，训练时只能访问当前任务数据（以及可选的少量历史样本），测试时需在所有历史类别上统一推理，不可使用任务 ID。

数学形式

给定任务序列 $\mathcal{T}_1, \mathcal{T}_2, \ldots, \mathcal{T}_T$，每个任务 $\mathcal{T}_t$ 包含不相交的类别集 $\mathcal{Y}_t$，目标为最小化在累积类别空间 $\mathcal{Y} = \bigcup_{t=1}^T \mathcal{Y}_t$ 上的分类误差。

核心要点

稳定性-可塑性困境（Stability-Plasticity Dilemma）: 学习新任务会导致灾难性遗忘旧任务，二者存在天然张力

三类主流方法:

1. 固定容量 + 重放（iCaRL、DER）：维护 exemplar buffer，回放历史样本
2. 正则化方法（EWC）：约束重要参数更新幅度
3. 扩张方法（DER、FOSTER、GRACE）：动态扩展模型容量

评估指标: Last accuracy（最终任务后精度）、Average accuracy（所有任务平均精度）

与 Task-IL 的区别: Task-IL 测试时知道任务 ID，CIL 不知道，难度更高

代表工作

GRACE: 通过 Grow-Assess-Compress 循环自适应管理 backbone 容量

iCaRL: 最早的基于 exemplar 的 CIL 方法

DER: 每任务添加新 backbone 的扩张方法

相关概念

灾难性遗忘

Effective Rank

知识蒸馏