WideResNet

分类: 网络架构

定义

WideResNet (WRN) 是 Zagoruyko & Komodakis (2016) 提出的宽残差网络，通过增加网络宽度（通道数）而非深度来提升性能，挑战了”越深越好”的观念。

$\text{WRN-}d\text{-}k$

其中 $d$ 为深度， $k$ 为宽度因子（widen factor），通道数为基础 ResNet 的 $k$ 倍。

宽而浅的网络可以与窄而深的网络达到相当甚至更好的性能

训练更快（更好的 GPU 并行利用率）

WRN-28-10 是常用的 CIFAR 基准模型

为模型增长中”宽度增长 vs 深度增长”的讨论提供了实验依据

Zagoruyko & Komodakis “Wide Residual Networks” (BMVC 2016)