MemGen
分类: 高效推理与部署
MemGen
定义
记忆增强生成模型，通过在 LLM 推理时维护外部可检索记忆库来扩展有效上下文窗口，属于记忆增强语言模型（Memory-Augmented LM）家族。
核心要点
外部记忆库：将历史上下文压缩存储在外部向量数据库，推理时按需检索
与 RAG 的区别：MemGen 是端到端训练或微调的，而标准 RAG 的检索器通常独立于 LM
与 KV Cache 的区别：MemGen 的记忆库不受显存限制，可扩展到更长历史
作为 MSA 的 baseline：在 MSA 论文中被用于对比 100M token 级记忆扩展能力
代表工作
MSA: 将 MemGen 作为记忆增强基线，对比稀疏注意力机制的扩展性
相关：MemoryAgent（同类方向）