Curriculum Learning

分类: 训练优化

Curriculum Learning

定义

一种训练策略，按照从易到难的顺序组织训练数据或任务，模仿人类学习的渐进过程

核心要点

由 Bengio et al. (2009) 首次提出

核心思想：先用简单样本建立基础能力，再用困难样本精细化

常见变体：自步学习（self-paced learning）、反课程学习（anti-curriculum）

在多阶段训练中体现为不同阶段的损失权重或数据分布变化

代表工作

MSA: 两阶段课程学习——先侧重路由器训练（$0.1\mathcal{L}_{\text{LLM}} + \mathcal{L}_{\text{aux}}$），再侧重语言建模（$\mathcal{L}_{\text{LLM}} + 0.1\mathcal{L}_{\text{aux}}$），贡献 7.6% 平均提升

相关概念

SFT

progressive training