校准模型必须幻觉：信息论证明

📐 “校准模型必须幻觉”的信息论证明（Kalai & Vempala 2024）

设定：一个完美校准的语言模型 $M$，对于任意事实声明 $s$，输出的概率等于真实概率 $P(M(s) = 1) = \Pr(\text{true}(s))$。

Good-Turing 估计量：对于在训练集中从未出现的 n-gram，其频率估计值为：

$\hat{P}(\text{unseen}) = \frac{c_1}{N}$

其中 $c_1$ 是训练集中只出现一次的 n-gram 总数，$N$ 是总 token 数。

定理（非正式）：设 $U$ 为从未在训练集中出现的任意正确事实集合（如”2025年后发生的事件”）。对于集合 $U$ 中的任意事实 $u$，校准模型必须给出 $P(\text{true}(u)) =$ 某正概率 $\epsilon > 0$（否则无法生成包含 $u$ 的文本）。但对于无限多的错误陈述 $u'$，同样需要 $P(\text{true}(u')) =$ 某正概率。

结论：从来没被观测到的正确事实集合 $U$ 是无限的，所以对其中任意一个 $u$，模型若回答某个特定的 $u'$ 而非 $u$，就必然幻觉——校准要求的”合理猜测”是幻觉的根本来源。

Sycophancy 的实证规律（Sharma et al. 2024）：用强化学习从人类反馈（RLHF）的模型在压力下更容易改变立场——即便原答案是正确的。这是因为奖励模型学到了”人类更喜欢模型同意自己”这一虚假相关。