ConvGRU

分类: 网络架构

ConvGRU

定义

将 GRU（Gated Recurrent Unit）中的全连接操作替换为卷积操作，使循环单元能处理空间结构化输入（如特征图），广泛用于视频理解和密集预测任务的迭代细化。

数学形式

zt=σ(Wz∗[ht−1,xt])rt=σ(Wr∗[ht−1,xt])h~t=tanh⁡(Wh∗[rt⊙ht−1,xt])ht=(1−zt)⊙ht−1+zt⊙h~t\begin{aligned} z_t &= \sigma(W_z * [h_{t-1}, x_t]) \\ r_t &= \sigma(W_r * [h_{t-1}, x_t]) \\ \tilde{h}_t &= \tanh(W_h * [r_t \odot h_{t-1}, x_t]) \\ h_t &= (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_t \end{aligned}

其中 ∗* 为卷积，⊙\odot 为逐元素乘，zt,rtz_t, r_t 分别为更新门和重置门，hth_t 为隐状态（特征图）。

核心要点

循环依赖约束: ht−1h_{t-1} 的输出通道数必须与 hth_t 的输入通道数一致，结构化剪枝时需尊重此依赖关系

迭代细化: 在立体匹配、光流估计（RAFT）等任务中，ConvGRU 逐步细化稠密预测结果

参数冗余: 实验表明细化模块中存在大量冗余，可剪枝后重训练恢复性能

代表工作

RAFT: 光流估计中的 ConvGRU 迭代细化范式

FoundationStereo: 立体匹配中的 ConvGRU 细化模块

Fast-FoundationStereo: 对 ConvGRU 细化模块进行结构化剪枝，基于依赖图约束保证通道一致性

相关概念

结构化剪枝

立体匹配

特征蒸馏