Calibration
分类: 基础理论
Calibration
定义
模型预测概率与真实正确率之间的一致性程度，即当模型以 80% 置信度预测时，实际正确率应接近 80%
核心要点
度量方法：Expected Calibration Error (ECE)，将预测按置信度分桶后计算置信度与准确率的加权偏差
LLM 校准问题：大模型常表现出过度自信（overconfidence），即使在错误答案上也给出高置信度
校准方法：温度缩放（Temperature Scaling）、Platt Scaling、直方图分箱（Histogram Binning）
代表工作
Guo et al. (2017): “On Calibration of Modern Neural Networks” (ICML)，揭示深度网络普遍校准不良
Kadavath et al. (2022): “Language Models (Mostly) Know What They Know”，研究 LLM 的自我校准能力