G-Vendi Score：梯度度量数据多样性

📐 G-Vendi Score：用梯度度量数据多样性

核心思想：不用文本表面特征（n-gram 重叠、BERTScore），而是用模型梯度作为数据的”功能指纹”。

步骤 1 — 梯度表示：对每个样本 $(x_i, y_i)$，计算小参考模型 $\theta_{\text{ref}}$ 上的梯度：

$g_i = \nabla_\theta \log P_{\theta_{\text{ref}}}(y_i | x_i) \in \mathbb{R}^p$

其中 $p$ 是参数量（可能数十亿）。

步骤 2 — 随机降维：用 Rademacher 随机投影 $R \in \{-1/\sqrt{d}, +1/\sqrt{d}\}^{d \times p}$（JL 引理保证距离保持）：

$\tilde{g}_i = R \cdot g_i \in \mathbb{R}^d, \quad d = 1024$

步骤 3 — 核矩阵与 Vendi Score：

$K_{ij} = \frac{\tilde{g}_i^T \tilde{g}_j}{\|\tilde{g}_i\| \|\tilde{g}_j\|} \quad \text{(余弦相似度核)}$

归一化为密度矩阵 $\rho = K / \text{tr}(K)$，计算矩阵熵：

$S_{\text{G-Vendi}} = \exp\!\left(-\text{tr}(\rho \log \rho)\right) = \exp\!\left(-\sum_k \lambda_k \log \lambda_k\right)$

其中 $\lambda_k$ 是 $\rho$ 的特征值。

关键发现：G-Vendi Score 与 OOD 泛化能力的相关性 $R^2 > 0.82$，远超 n-gram 多样性（$R^2 \approx 0.3$）和 embedding 多样性（$R^2 \approx 0.5$）。