KL散度

分类: 深度学习基础

KL散度

定义

衡量两个概率分布 $P$ 和 $Q$ 之间差异的非对称度量，也称相对熵（relative entropy）

数学形式

核心要点

非对称：$\text{KL}(P\|Q) \neq \text{KL}(Q\|P)$

非负：$\text{KL}(P\|Q) \geq 0$，当且仅当 $P=Q$ 时等于 0

在知识蒸馏、VAE、分布对齐等场景广泛使用

可分解为交叉熵减去自身熵：$\text{KL}(P\|Q) = H(P,Q) - H(P)$

代表工作

Pruning-on-Representations: 用 KL 散度量化剪枝前后概率分布偏移，证明 $\text{KL} \approx \text{Var}(\Delta z)/(2T^2)$

相关概念

交叉熵

Softmax

知识蒸馏