DenseNet

分类: 网络架构

DenseNet

定义

DenseNet（Densely Connected Convolutional Networks）是一种 CNN 架构，每一层都与前面所有层建立密集连接（dense connection），实现特征复用和梯度直连

数学形式

$x_l = H_l([x_0, x_1, \ldots, x_{l-1}])$ 其中 $[x_0, x_1, \ldots, x_{l-1}]$ 表示第 $0$ 到 $l-1$ 层输出的 concatenation，$H_l$ 是第 $l$ 层的非线性变换

核心要点

每层接收所有前层的特征图（通过 concatenation 而非 addition），鼓励特征复用

Growth Rate $k$ 控制每层新增的通道数，保持网络参数可控

Transition Layer（1×1 conv + pooling）用于降维和下采样

缓解梯度消失问题，加强特征传播，减少参数量（相对同精度的 ResNet）

后续 Attention Residuals 等工作借鉴了 DenseNet 的跨层连接思想，但用 attention 机制替代 concatenation

代表工作

Huang et al., “Densely Connected Convolutional Networks” (CVPR 2017)

相关概念

PreNorm — 残差连接中的归一化策略

function-preserving — 跨层连接与 function-preserving 初始化的关联