RKHS

分类: 基础理论

RKHS

定义

再生核希尔伯特空间，一类特殊的希尔伯特空间（完备内积空间），其中的点求值泛函是连续的。通过核函数 $k(x, y)$ 定义，满足再生性质 $f(x) = \langle f, k(x, \cdot) \rangle$

数学形式

$f(x) = \langle f, k(x, \cdot) \rangle_{\mathcal{H}}, \quad \forall f \in \mathcal{H}$

其中 $k: \mathcal{X} \times \mathcal{X} \to \mathbb{R}$ 为正定核函数，$\mathcal{H}$ 为对应的 RKHS

核心要点

核心性质：再生性（reproducing property）——函数值可以通过与核函数的内积计算

提供了将数据隐式映射到高维空间的数学框架（kernel trick）

在 SVM、高斯过程、核方法中是核心理论工具

在 IWP (2026) 中被用于分析 attention 的 dual form——softmax attention 可以看作 RKHS 中的核回归

代表工作

Aronszajn, “Theory of Reproducing Kernels” (1950) — 奠基性工作

IWP (2026): 用 RKHS 视角分析 attention 的 dual form

相关概念

RoPE

Multi-Head Self-Attention