Temperature Sampling

分类: 深度学习基础

Temperature Sampling

定义

通过温度参数 $\tau$ 缩放 logits 后做 softmax 采样的随机解码策略

数学形式

核心要点

$\tau < 1$: 分布更尖锐，趋近 greedy decoding

$\tau > 1$: 分布更平坦，生成更多样但可能不连贯

$\tau = 1$: 原始分布

常与 top-k、top-p（nucleus sampling）结合使用

FlashHead 的概率采样模式用 softmax 缩放的 centroid logits 进行无放回采样

代表工作

FlashHead: 将温度采样扩展到聚类中心级别，实现概率化的 multi-probe 选择

相关概念

Softmax

Greedy Decoding

classification head