📐 神经网络分类器完整前向传播推导

变量定义：

• $x \in \mathbb{R}^{5d}$ = 窗口拼接词向量（输入层）
• $W^{(1)} \in \mathbb{R}^{m \times 5d}$ = 第一层权重矩阵（$m$ 为隐藏层维度）
• $b^{(1)} \in \mathbb{R}^m$ = 第一层偏置
• $f(\cdot)$ = 逐元素非线性激活函数（如 $\tanh$）
• $h \in \mathbb{R}^m$ = 隐藏层输出
• $u \in \mathbb{R}^m$ = 输出权重向量
• $s \in \mathbb{R}$ = 标量评分

推导过程：

第 1 步：线性变换。将输入投影到隐藏空间： $z^{(1)} = W^{(1)} x + b^{(1)} \in \mathbb{R}^m$

展开矩阵乘法的第 $i$ 个分量：$z^{(1)}_i = \sum_{j=1}^{5d} W^{(1)}_{ij} x_j + b^{(1)}_i$

第 2 步：逐元素非线性激活： $h = f(z^{(1)}) \in \mathbb{R}^m, \quad h_i = f(z^{(1)}_i)$

第 3 步：输出评分（标量）。用权重向量 $u$ 做内积： $s = u^T h = \sum_{i=1}^{m} u_i h_i \in \mathbb{R}$

第 4 步：转化为概率（二分类用 sigmoid）： $p = \sigma(s) = \frac{1}{1 + e^{-s}} \in (0, 1)$

为什么需要非线性：若去掉 $f$，则 $s = u^T (W^{(1)} x + b^{(1)}) = (u^T W^{(1)}) x + u^T b^{(1)}$，等价于单层线性模型 $s = w^T x + c$，无论堆多少层都如此。非线性是神经网络表达能力的根本来源。

📐 交叉熵损失从 MLE 到公式完整推导

变量定义：

• $\theta$ = 模型参数
• $p_{true}(c)$ = 真实分布（one-hot，正确类别为 1，其余为 0）
• $q_\theta(c|x)$ = 模型预测的概率分布（softmax 输出）
• $H(p, q)$ = 交叉熵（p 和 q 的交叉熵）
• $N$ = 训练样本数

推导过程：

第 1 步：最大似然估计（MLE）。给定数据集 $\{(x_i, y_i)\}_{i=1}^N$，最大化所有样本的联合对数似然： $\max_\theta \sum_{i=1}^N \log p_\theta(y_i | x_i)$

第 2 步：等价于最小化负对数似然（NLL）： $\min_\theta -\sum_{i=1}^N \log p_\theta(y_i | x_i) = \min_\theta \sum_{i=1}^N \text{NLL}_i$

第 3 步：与交叉熵的联系。交叉熵的定义： $H(p_{true}, q_\theta) = -\sum_{c=1}^C p_{true}(c) \log q_\theta(c|x)$

当 $p_{true}$ 为 one-hot（$p_{true}(y) = 1$，其余为 0），所有 $c \ne y$ 的项乘以 0 消失： $H(p_{true}, q_\theta) = -1 \cdot \log q_\theta(y|x) = -\log p_\theta(y|x)$

因此：最小化交叉熵 = 最大化正确类别的 log 概率 = MLE。

第 4 步：整个数据集的平均损失（除以 $N$ 以便不同大小数据集可比）： $J(\theta) = -\frac{1}{N}\sum_{i=1}^N \log p_\theta(y_i | x_i) = \frac{1}{N}\sum_{i=1}^N H(p_{true}^{(i)}, q_\theta(\cdot|x_i))$

第 5 步：softmax + cross-entropy 合并简化。若 $p_\theta(c|x) = \text{softmax}(s_c) = \frac{e^{s_c}}{\sum_j e^{s_j}}$，则： $-\log p_\theta(y|x) = -s_y + \log\sum_j e^{s_j}$

这正是 PyTorch 的 F.cross_entropy（内部做 log-softmax + NLL）。

📐 反向传播完整推导：NER 二分类网络

网络定义：

$z^{(1)} = Wx + b, \quad h = \tanh(z^{(1)}), \quad s = u^T h, \quad J = -\log \sigma(s) \quad (y=1 \text{ 的二元交叉熵})$

参数：$\theta = \{W, b, u, x\}$（此处也对输入 $x$ 求梯度，以便更新词向量）

第 1 步：$\frac{\partial J}{\partial s}$（损失对评分的梯度）

$J = -\log \sigma(s)$，$\sigma(s) = \frac{1}{1+e^{-s}}$

$\frac{\partial J}{\partial s} = -\frac{1}{\sigma(s)} \cdot \sigma'(s) = -\frac{1}{\sigma(s)} \cdot \sigma(s)(1-\sigma(s)) = \sigma(s) - 1$

直觉：$\sigma(s) \in (0,1)$，所以 $\frac{\partial J}{\partial s} = \sigma(s)-1 \in (-1, 0)$——评分越高，梯度越小（越接近 0），因为已经预测得很好了。

第 2 步：$\frac{\partial J}{\partial u}$（损失对输出权重 $u$ 的梯度）

$s = u^T h$，故 $\frac{\partial s}{\partial u} = h$（列向量），链式法则：

$\frac{\partial J}{\partial u} = \frac{\partial J}{\partial s} \cdot \frac{\partial s}{\partial u} = (\sigma(s)-1) \cdot h \in \mathbb{R}^m$

第 3 步：$\frac{\partial J}{\partial z^{(1)}}$（误差信号 $\delta$，关键中间量）

$\frac{\partial s}{\partial h} = u^T$，$\frac{\partial h}{\partial z^{(1)}} = \text{diag}(1 - h^2)$（tanh 导数）

设上游梯度（从损失到 $h$）为： $\frac{\partial J}{\partial h} = \frac{\partial J}{\partial s} \cdot \frac{\partial s}{\partial h} = (\sigma(s)-1) \cdot u^T \in \mathbb{R}^{1 \times m}$

传过 tanh（逐元素乘，$\odot$ 表示 Hadamard 积）： $\delta \equiv \frac{\partial J}{\partial z^{(1)}} = (\sigma(s)-1) \cdot u \odot (1 - h^2) \in \mathbb{R}^m$

（将行向量转为列向量后与 $1-h^2$ 逐元素相乘）

第 4 步：各参数梯度

利用 $z^{(1)} = Wx + b$ 及矩阵微积分规则：

$\frac{\partial J}{\partial W} = \delta \cdot x^T \in \mathbb{R}^{m \times n} \quad \text{（外积，形状与 } W \text{ 相同）}$

$\frac{\partial J}{\partial b} = \delta \in \mathbb{R}^m \quad \text{（形状与 } b \text{ 相同）}$

$\frac{\partial J}{\partial x} = W^T \delta \in \mathbb{R}^n \quad \text{（传给词向量，用于联合训练）}$

计算图（ASCII 示意）：

x ──→ [z=Wx+b] ──→ [h=tanh(z)] ──→ [s=uᵀh] ──→ [J=-log σ(s)]
       ↑W,b              ↑                ↑u
  前向：→→→→→→→→→→→→→→→→→→→→→→→→→→→→→
  反向：←←←←←←←←←←←←←←←←←←←←←←←←←←←
       ∂J/∂W=δxᵀ    ∂J/∂z=δ        ∂J/∂s=σ(s)-1

每个节点只需记录自己的局部导数，不需要知道网络其他部分的结构。