Fast Graph Decoder

分类: 高效推理与部署

Fast Graph Decoder

定义

基于近似最近邻（ANN）图搜索的分类头替代方案，将 token 预测转化为图上的最近邻查找

核心要点

由 Zhang et al. (2018) 提出，是 training-free 的分类头替代

使用 HNSW 等图索引结构，实现次线性复杂度的 top-k 检索

局限：只输出 top-k 候选集，无法建模完整概率分布，不支持概率采样

依赖 CPU 索引结构，无法在 GPU 上高效运行

在 CPU 上有不错表现（3.36× 加速），但 GPU 上不可用

代表工作

FlashHead: 对比方法，FlashHead 在 GPU 上全面超越 FGD

相关概念

信息检索

classification head