自回归解码
分类: 深度学习基础
自回归解码
定义
语言模型逐步生成 token 的过程，每一步的输出作为下一步的输入，形成反馈循环
数学形式
核心要点
每步生成依赖于所有历史 token，形成序列依赖
误差会跨时间步累积：当前步的错误 token 影响后续所有步骤
与非生成任务（单步推理）的关键区别在于有无历史依赖
解码策略包括 greedy、beam search、nucleus sampling 等
代表工作
Pruning-on-Representations: 分析自回归误差累积导致剪枝后生成质量崩溃的机制
相关概念
Beam Search