Effective Rank

分类: 基础理论

Effective Rank（有效秩）

通过特征矩阵的奇异值分布的 Shannon 熵来衡量矩阵的”有效维度”，反映特征空间被利用的程度。eRank 越高说明各奇异方向分布越均匀，特征空间利用越充分（容量越饱和）。

对特征矩阵 $Z \in \mathbb{R}^{n \times d}$ 进行 SVD，得奇异值 $\sigma_1, \ldots, \sigma_k$ ，归一化为概率分布：

p_i = \frac{\sigma_i}{\sum_j \sigma_j}

Effective Rank 定义为该分布的指数熵：

\text{eRank}(Z) = \exp\!\left(-\sum_{i=1}^{k} p_i \ln p_i\right)

归一化版本（映射到 $[0, 1]$ ）：

\widetilde{\text{eRank}} = \frac{\text{eRank}}{\min(n, d)}

eRank 实质是奇异值分布的熵值再取指数，范围为 $[1, \min(n, d)]$

归一化后的 $\widetilde{\text{eRank}} \in [0, 1]$ ：趋近 1 表示容量饱和（奇异值分布均匀），趋近 0 表示特征坍缩（少数奇异值主导）

原始定义来自 Roy & Vetterli (2007)，GRACE 将其用于模型容量的自动评估

GRACE: 用 $\widetilde{\text{eRank}}$ 评估 backbone 的特征空间饱和度，驱动 Grow-Assess-Compress 循环