Taylor 展开

分类: 基础理论

Taylor 展开

定义

将函数在某点附近用多项式逼近的数学工具，一阶展开 f(x+δ)≈f(x)+f′(x)δf(x+\delta) \approx f(x) + f'(x)\delta 是剪枝重要性估计的理论基础

数学形式

f(x+δ)=f(x)+f′(x)δ+12f′′(x)δ2+⋯f(x + \delta) = f(x) + f'(x)\delta + \frac{1}{2}f''(x)\delta^2 + \cdots

核心要点

一阶 Taylor 剪枝: 参数重要性 ≈∣g⋅w∣\approx |g \cdot w|，其中 g=∇wLg = \nabla_w \mathcal{L}

传统 Taylor pruning 在权重空间计算，AGF 将其推广到特征空间

正负梯度抵消问题：传统 Taylor 展开中梯度可能正负相消，AGF 通过取绝对值解决

二阶 Taylor（涉及 Hessian）计算开销大，一阶近似更实用

代表工作

Taylor pruning: 基于一阶 Taylor 展开的经典剪枝方法

AGF: 特征空间绝对 Taylor 展开

相关概念

Taylor pruning

Hessian

全变差