线性表示假说与 CAV

📐 线性表示假设与 CAV（概念激活向量）

线性表示假设：神经网络的内部表示在高维空间中近似线性地编码可解释概念。

Concept Activation Vectors（TCAV, Kim et al. 2018）：

给定一个概念 $C$（如”斑纹”），收集正例集合 $P_C$ 和负例集合 $N_C$，在激活层 $l$ 上训练线性分类器：

$h^l : \mathbb{R}^{d_l} \to \{0, 1\}$

概念激活向量 $v_C^l$ 是分类器的权重方向（法向量）。

TCAV 分数：衡量概念对类别 $k$ 的影响：

$S_{TCAV}(k, C, l) = \frac{|\{x \in X_k : \nabla_{f_l(x)} h(f_l(x)) \cdot v_C^l > 0\}|}{|X_k|}$

• 分子：在类别 $k$ 的样本中，沿概念方向移动激活值会增加类别 $k$ 得分的样本数量
• 意义：$S_{TCAV} > 0.5$ 说明该概念对该类别有正相关性

Probing Classifiers（探测分类器）：在冻结的预训练模型激活上训练简单线性分类器，检测某语言属性（如词性、句法角色）是否被编码：

$P(\text{label} | f_l(x)) = \sigma(w^T f_l(x) + b)$

高准确率 → 该层编码了该属性；低准确率 → 没有编码。