ART

分类: 剪枝与稀疏化

定义

Adaptive Regularization Training（自适应正则化训练），一种在训练过程中自适应调节稀疏正则化强度的方法，无需预设目标稀疏度即可获得稀疏网络

正则化强度在训练中根据网络状态自适应调整，而非固定超参数

不需要预定义目标稀疏度或基础架构大小

同时适用于非结构化和结构化稀疏性

在极高稀疏度下仍能保持合理精度

GNAP: 基于 ART 思想，结合网络增长和 Gumbel-Softmax 自主剪枝