RIA

分类: 剪枝与稀疏化

RIA

定义

一种基于幅度的结构化剪枝度量,结合权重相对重要性和激活值进行通道/神经元评分

核心要点

属于幅度剪枝方法家族

在中等压缩率下表现合理,但在极端稀疏度下(如 3% 宽度)方差较大(σ=0.40)

AGF 实验证明 RIA 在极端压缩下的不稳定性源于 Magnitude Bias

代表工作

AGF: 以 RIA 为主要对比基线,揭示其在极端稀疏度下的局限性

相关概念

Wanda

幅度剪枝

结构化剪枝