ResNet

分类: 网络架构

ResNet

定义

ResNet（Residual Network）是 He et al. (2015) 提出的深度残差网络，通过引入跳跃连接（skip connection）解决了深层网络的退化问题，使训练数百层的网络成为可能。

数学形式

$\mathbf{y} = \mathcal{F}(\mathbf{x}, \{W_i\}) + \mathbf{x}$

其中 $\mathcal{F}(\mathbf{x}, \{W_i\})$ 为残差映射，$\mathbf{x}$ 为恒等映射（identity shortcut）。

核心要点

残差学习：网络学习残差 $\mathcal{F}(\mathbf{x}) = \mathcal{H}(\mathbf{x}) - \mathbf{x}$ 而非直接映射 $\mathcal{H}(\mathbf{x})$

Bottleneck 结构：1×1 → 3×3 → 1×1 的瓶颈设计降低计算量

变体包括 ResNet-18/34/50/101/152，以及 ResNetv2（pre-activation）

是 ImageNet 分类、检测、分割等视觉任务的基础 backbone

代表工作

He et al. “Deep Residual Learning for Image Recognition” (CVPR 2016, Best Paper)

He et al. “Identity Mappings in Deep Residual Networks” (ECCV 2016, ResNetv2)

相关概念

ViT

结构化剪枝

function-preserving