循环神经网络

分类: 网络架构

循环神经网络

定义

具有循环连接的神经网络，通过隐藏状态传递序列信息，自然处理变长序列数据

数学形式

ht+1=σ(Wrecht+Winxt+b)h_{t+1} = \sigma(W_{rec} h_t + W_{in} x_t + b)

核心要点

隐藏状态 hth_t 作为”记忆”编码历史信息

存在梯度消失/爆炸问题，催生了 LSTM 和 GRU 等变体

在 Big2Small 的统一压缩框架中，遍历动力系统的迭代映射等价于 RNN 展开

通用逼近定理保证 RNN 能逼近任意混沌映射的轨道

代表工作

LSTM (Hochreiter & Schmidhuber, 1997): 门控机制解决长程依赖

Big2Small: 证明遍历压缩方法与 RNN 的结构等价性

相关概念

遍历动力系统

ConvGRU