核函数

分类: 基础理论

定义

满足 Mercer 条件的正定函数，等价于某个特征空间中的内积，是核方法的基础组件

\kappa(\mathbf{x}, \mathbf{y}) = \langle\phi(\mathbf{x}), \phi(\mathbf{y})\rangle_{\mathcal{H}}

常见核函数：

RBF 核: $\kappa(\mathbf{x}, \mathbf{y}) = \exp(-\gamma\|\mathbf{x}-\mathbf{y}\|^2)$

Softmax 核: $\kappa(\mathbf{x}, \mathbf{y}) = \exp(\mathbf{x}\mathbf{y}^\top / \sqrt{d})$

多项式核: $\kappa(\mathbf{x}, \mathbf{y}) = (\mathbf{x}\mathbf{y}^\top + c)^p$

正定性保证了对应 RKHS 的存在

softmax 核的特征映射是无穷维的

在 IWP 中， $\kappa(\mathbf{q}, \mathbf{k}_i)$ 作为信息幅度指标的核心组件

IWP: 用 softmax 核衡量 query-key 对齐度，作为 token 重要性指标