全变差

分类: 基础理论

定义

衡量函数在定义域上变化剧烈程度的量，定义为函数导数绝对值的积分

\text{TV}(f) = \int_a^b \left| f'(t) \right| dt

在信号处理中用于衡量信号的振荡程度

在深度学习中可用于衡量通道在训练过程中对损失的累积敏感度

AGF 将其应用于特征空间： $\text{TV}(Y_c) = \int_0^T | \frac{\partial \mathcal{L}}{\partial Y_c^{(t)}} \cdot \frac{dY_c^{(t)}}{dt} | dt$

取绝对值避免正负梯度相互抵消，比普通梯度积分更稳定

AGF: 将全变差概念应用于通道重要性评估