progressive training
分类: 模型增长
Progressive Training
定义
Progressive training（渐进式训练）是一种由小到大逐步扩展模型或数据规模的训练策略，包括渐进增长模型架构（progressive growing）和渐进增加数据复杂度（curriculum learning），以提高训练效率或改善收敛质量。
核心要点
模型渐进：从小模型开始，逐步增加层数/宽度/分辨率，继承已有知识
数据渐进：从简单样本开始，逐步引入更难的样本（curriculum learning）
核心优势：减少总计算量（小模型阶段训练快）、改善优化景观
与模型增长（model growth）密切相关：增长后继续训练就是 progressive training
在 GAN（ProGAN）、ViT、LLM 预训练中均有成功应用
代表工作
Karras et al., 2018: “Progressive Growing of GANs”（ProGAN）
function-preserving：保函数变换是 progressive training 的基础技术