MMR

分类: 基础理论

MMR

定义

最大边际相关性（Maximal Marginal Relevance）是一种平衡相关性和多样性的子集选择策略，在信息检索中广泛使用

数学形式

i∗=arg⁡max⁡i∈U∖C[λ⋅Relevance(i)−(1−λ)max⁡j∈CSimilarity(i,j)]i^* = \arg\max_{i \in \mathcal{U} \setminus \mathcal{C}} \left[\lambda \cdot \text{Relevance}(i) - (1-\lambda) \max_{j \in \mathcal{C}} \text{Similarity}(i, j)\right]

核心要点

贪心选择：每次选择与查询最相关但与已选集最不相似的元素

λ\lambda 控制相关性和多样性的权衡

标准 MMR 复杂度 O(N⋅M)O(N \cdot M)，IWP 的 Progressive Chunked MMR 通过分块降低实际开销

在 token pruning 中，相关性对应信息幅度，相似性对应信息重复

代表工作

IWP: 提出 Progressive Chunked MMR 用于高效 token 子集选择

Carbonell & Goldstein (1998): 原始 MMR 论文

相关概念

贪心算法

信息检索

Token Pruning