DeepSpeed
分类: 训练优化
DeepSpeed
定义
DeepSpeed 是微软开源的深度学习训练优化库，提供 ZeRO（Zero Redundancy Optimizer）系列内存优化、混合精度训练、Pipeline 并行等功能，支持高效训练超大规模模型。
核心要点
ZeRO Stage 1/2/3：分别对优化器状态、梯度、参数进行分片，逐步减少内存冗余
ZeRO-Offload / ZeRO-Infinity：将状态卸载到 CPU/NVMe，突破 GPU 内存限制
混合精度训练：FP16/BF16 + FP32 主权重，减少内存和加速计算
Pipeline Parallelism：流水线并行训练，配合数据并行和张量并行
与 HuggingFace Transformers、PyTorch 深度集成
代表工作
Rajbhandari et al., 2020: “ZeRO: Memory Optimizations Toward Training Trillion Parameter Models”
LlamaFactory：集成 DeepSpeed 进行高效微调