无放回采样
分类: 基础理论
无放回采样
定义
从集合中依次抽取元素，已抽取的元素不放回，确保每个元素最多被选一次
核心要点
与有放回采样相比，无放回采样保证样本多样性，避免重复
在 FlashHead 中，概率采样模式通过无放回采样选取聚类中心，确保候选 token 覆盖不同语义区域
计算效率：Gumbel-top-k 或 reservoir sampling 可实现高效无放回采样
代表工作
FlashHead: 基于 softmax 缩放的 centroid logits 进行无放回采样选取聚类探针