slimmable

分类: NAS与自动化设计

Slimmable Networks

定义

训练一个网络，在推理时可以按不同宽度（通道数）运行，实现单一模型适配多种算力约束的弹性推理方案

数学形式

$\mathcal{L} = \sum_{w \in \mathcal{W}} \mathcal{L}_{\text{task}}(f(x; \theta_w))$ 其中 $\mathcal{W}$ 是预设宽度集合（如 0.25×, 0.5×, 0.75×, 1.0×），$\theta_w$ 是对应宽度的参数子集

核心要点

每个宽度配置使用独立的 BatchNorm 统计量（Switchable BN），共享卷积权重

US-Net (Universally Slimmable) 进一步扩展到任意宽度

与 Once-for-All 的区别：slimmable 只调宽度，OFA 同时调宽度+深度+分辨率+核大小

对模型增长有启发：增长后的网络天然可以作为 slimmable 网络的更大宽度配置

代表工作

Yu et al. (2019): Slimmable Neural Networks 原始论文

US-Net: Universally Slimmable Networks

相关概念

Once-for-All

神经架构搜索

混合精度