算法单一文化(Algorithmic Monoculture)形式化

分类: 推理与评估 · 难度: 中级 · 关联讲座: L16

当多个决策者依赖同一个 AI 模型时,系统性的关联失败(correlated failures)不可避免。Kleinberg & Raghavan (2021) 对”算法单一文化”进行了形式化分析,证明了同质化决策的边际覆盖率为零——无论增加多少使用者,模型忽略的群体永远不会被任何决策者覆盖。


📐 多样性崩塌的形式化:Algorithmic Monoculture

问题设定(Kleinberg & Raghavan 2021):设有 nn 个决策者,每人独立使用同一分类器 fθf_\theta 做决策。

独立决策的多样性(传统情形,每人用不同模型 fθif_{\theta_i}):

期望覆盖率(任意实体至少被一个决策者选中的概率):

P(coverage)=1i=1n(1pi)1(1pˉ)nP(\text{coverage}) = 1 - \prod_{i=1}^{n} (1 - p_i) \approx 1 - (1-\bar{p})^n

nn 指数增长。

同质化决策的覆盖率(所有人用同一模型 fθf_\theta):

P(coverage)=p(无论 n 多大)P(\text{coverage}) = p \quad \text{(无论 } n \text{ 多大)}

也就是说,无论有多少决策者使用同一模型,边际覆盖率为零——模型选不中的人永远不会被任何决策者选中。

G-Vendi Score(Jung et al. 2025,多样性度量):

SVendi(K)=exp(H(ρ))S_{\text{Vendi}}(K) = \exp(H(\rho))

其中 ρ\rho 是相似度核矩阵 Kij=k(xi,xj)K_{ij} = k(x_i, x_j) 的归一化密度矩阵,H(ρ)=tr(ρlogρ)H(\rho) = -\text{tr}(\rho \log \rho) 是矩阵熵。等价于核矩阵特征值的几何平均数(有效样本数量)。

🔢 AI 辅助写作多样性下降的量化

Doshi & Hauser 2023(Science Advances),实验设计:

  • 受试者:1,000 名专业作家
  • 条件:无 AI 辅助 vs 有 GPT-4 写作建议(不强制采用)
  • 测量:词汇多样性(Type-Token Ratio, TTR)、句子结构熵、语义相似度(BERTScore)
指标无 AI有 AI(接受建议者)变化
个体质量(人类评分)3.2/53.5/5(+9%)提升
跨个体词汇多样性(TTR)0.680.51(-25%)下降
内容主题多样性(LDA 主题数)4731下降

结论:AI 提升了单篇文章质量,但”拉向均值”——所有人写出了更相似的文章。

⚠️ 常见误区

  1. 误区:AI 只是工具,人类仍然控制最终输出 → 正确:认知锚定(anchoring)效应表明,即使提示说”仅供参考”,人类作家仍会显著受到 AI 建议的影响,尤其在时间压力下。

  2. 误区:多样性下降是”RLHF 的锅”,基础模型无此问题 → 正确:Padmakumar & He 2024 的实验确认——InstructGPT(RLHF 版)导致多样性下降,GPT-3 base 无此现象,说明对齐过程确实引入了同质化偏差。