Maximal Marginal Relevance

分类: 基础理论

Maximal Marginal Relevance

定义

信息检索领域的经典选择算法，在选择元素时同时考虑与查询的相关性（relevance）和与已选元素的多样性（diversity），通过权衡两者来避免冗余选择

数学形式

$\text{MMR} = \arg\max_{d_i \in R \setminus S} \left[ \lambda \cdot \text{Sim}_1(d_i, q) - (1-\lambda) \cdot \max_{d_j \in S} \text{Sim}_2(d_i, d_j) \right]$

其中 $q$ 为查询，$S$ 为已选集合，$R$ 为候选集合，$\lambda$ 控制相关性与多样性的权衡

核心要点

贪心算法：每步选择 MMR 分数最高的元素加入结果集

$\lambda = 1$ 退化为纯相关性排序，$\lambda = 0$ 退化为纯多样性选择

广泛用于文档检索、摘要生成、RAG 上下文选择

在 token pruning 领域被改造为 PC-MMR（Progressive Chunked MMR），用于选择信息丰富且多样的 token 子集

代表工作

Carbonell & Goldstein, “The Use of MMR, Diversity-Based Reranking for Reordering Documents and Producing Summaries” (SIGIR 1998)

IWP (2026): 将 MMR 改造为 PC-MMR 用于 token pruning

相关概念

EViT

DivPrune