SFT

分类: 训练优化

SFT

定义

SFT（Supervised Fine-Tuning）是 LLM 后训练的关键阶段，使用高质量的指令-回复对以监督学习方式微调预训练模型，使其能够遵循指令并生成有用的回复

核心要点

在 LLM 训练流程中的位置：预训练 → SFT → RLHF/DPO（对齐）

数据格式通常为 (instruction, input, output) 三元组或多轮对话

数据质量 > 数据数量：少量高质量数据的效果优于大量低质量数据（LIMA 等工作已证明）

常与 LoRA 等参数高效方法结合，降低微调成本

关键超参数：学习率（通常比预训练低 1-2 个数量级）、epoch 数（通常 1-5）

代表工作

InstructGPT (OpenAI): SFT + RLHF 的经典流程

LIMA: 证明 1000 条高质量数据的 SFT 就能获得优秀效果

Alpaca: Stanford 基于 self-instruct 的 SFT 实践

相关概念

LoRA — 参数高效的 SFT 方法

知识蒸馏 — SFT 数据可来自强模型蒸馏