CS224N / 学习笔记

正交投影

分类: 基础理论

正交投影

定义

将向量投影到某个子空间上，使得投影残差与该子空间正交的线性变换

数学形式

P_S = \mathbf{V}_S (\mathbf{V}_S^\top \mathbf{V}_S)^{-1} \mathbf{V}_S^\top

其中 $\mathbf{V}_S$ 是子空间基向量矩阵， $P_S$ 满足 $P_S^2 = P_S$ （幂等性）和 $P_S^\top = P_S$ （对称性）。

核心要点

正交投影最小化向量到子空间的欧氏距离

残差 $\mathbf{r} = \mathbf{v} - P_S \mathbf{v}$ 与子空间正交

在 token 选择中，残差能量衡量未被表示的信息量

代表工作

ResPrune: 将视觉 token 剪枝建模为子空间重建问题，用正交投影残差能量选择 token

相关概念

Gram-Schmidt 正交化