📐 激活函数导数完整推导

反向传播需要激活函数的导数，以下逐一推导：

1. Sigmoid 导数

设 $\sigma(z) = \frac{1}{1+e^{-z}} = (1+e^{-z})^{-1}$，用链式法则：

$\sigma'(z) = -(1+e^{-z})^{-2} \cdot (-e^{-z}) = \frac{e^{-z}}{(1+e^{-z})^2}$

注意 $e^{-z} = \frac{1}{\sigma(z)} - 1 = \frac{1 - \sigma(z)}{\sigma(z)}$，代入：

$\sigma'(z) = \frac{1}{1+e^{-z}} \cdot \frac{e^{-z}}{1+e^{-z}} = \sigma(z) \cdot (1 - \sigma(z))$

意义：sigmoid 的导数可以用自身表达，计算极为高效（前向已算出 $\sigma(z)$，反向直接用）。

2. tanh 导数

设 $\tanh(z) = \frac{e^z - e^{-z}}{e^z + e^{-z}}$，商法则：

$\tanh'(z) = \frac{(e^z + e^{-z})(e^z + e^{-z}) - (e^z - e^{-z})(e^z - e^{-z})}{(e^z + e^{-z})^2}$

分子 $= (e^z+e^{-z})^2 - (e^z-e^{-z})^2 = 4$（平方差展开），故：

$\tanh'(z) = \frac{4}{(e^z+e^{-z})^2} = 1 - \tanh^2(z)$

同样，导数可由自身表达（与 $\cosh^{-2}(z)$ 等价，但后者更难直接使用）。

3. ReLU 导数

$\text{ReLU}(z) = \max(z, 0) = \begin{cases} z & z > 0 \\ 0 & z \le 0 \end{cases}$

$\text{ReLU}'(z) = \mathbb{1}[z > 0] = \begin{cases} 1 & z > 0 \\ 0 & z \le 0 \end{cases}$

$z=0$ 处次梯度（subgradient）通常取 0 或 0.5，实践中影响可忽略。

4. GELU 近似导数

GELU 严格形式：$\text{GELU}(x) = x \cdot \Phi(x)$（$\Phi$ 为标准正态 CDF），导数需数值计算。常用近似：

$\text{GELU}(x) \approx x \cdot \sigma(1.702x)$

$\frac{d}{dx}\text{GELU}(x) \approx \sigma(1.702x) + 1.702x \cdot \sigma(1.702x)(1-\sigma(1.702x))$