Monte Carlo 估计

分类: 基础理论

Monte Carlo 估计

定义

通过大量随机采样来近似计算期望值或概率分布的数值方法

数学形式

E[f(X)]≈1N∑i=1Nf(Xi),Xi∼p(X)\mathbb{E}[f(X)] \approx \frac{1}{N} \sum_{i=1}^{N} f(X_i), \quad X_i \sim p(X)

核心要点

收敛速率为 O(1/N)O(1/\sqrt{N})，与维度无关

适用于高维积分、复杂分布、无闭式解的场景

方差可通过重要性采样、控制变量等技术降低

FlashHead 用 MC 估计逼近全词表概率分布，10,000 次采样后收敛

代表工作

FlashHead: 用 Monte Carlo 采样估计 token 的边际概率 pN(v∣h)=sN(v∣h)/Np_N(v|\mathbf{h}) = s_N(v|\mathbf{h}) / N

相关概念

无放回采样

Temperature Sampling