Frobenius Norm

分类: 基础理论

Frobenius Norm

定义

矩阵的 Frobenius 范数是所有元素平方和的平方根，是矩阵范数中最常用的一种

数学形式

∥A∥F=∑i,j∣aij∣2=tr(A⊤A)\|\mathbf{A}\|_F = \sqrt{\sum_{i,j} |a_{ij}|^2} = \sqrt{\text{tr}(\mathbf{A}^\top \mathbf{A})}

对于 rank-1 矩阵 A=uv⊤\mathbf{A} = \mathbf{u}\mathbf{v}^\top：

∥uv⊤∥F=∥u∥2∥v∥2\|\mathbf{u}\mathbf{v}^\top\|_F = \|\mathbf{u}\|_2 \|\mathbf{v}\|_2

核心要点

等价于将矩阵展平为向量后的 L2L_2 范数

对 rank-1 矩阵可分解为两个向量范数之积

在 IWP 中用于衡量 token 对 attention 对偶权重矩阵的贡献幅度

代表工作

IWP: 用 ∥ΔWi∥F=∥ϕ(ki)∥2∥vi∥2\|\Delta\mathbf{W}_i\|_F = \|\phi(\mathbf{k}_i)\|_2 \|\mathbf{v}_i\|_2 衡量 token 重要性

相关概念

SVD

低秩分解