遍历动力系统

分类: 基础理论

遍历动力系统

定义

利用低维混沌动力系统的遍历性质，用少量参数（初始种子 + 迭代规则）生成高维参数向量，实现模型压缩

数学形式

xt+1=T(xt),wt=P(xt)x_{t+1} = T(x_t), \quad w_t = P(x_t)

其中 TT 为混沌映射，x0∈Rmx_0 \in \mathbb{R}^m (m≪Dm \ll D) 为初始种子，PP 为投影函数。

核心要点

基于 Shadowing Property：混沌映射的轨道能以任意精度逼近目标序列

压缩原理：将 DD 维参数向量压缩为 mm 维种子 + 映射规则

在 Big2Small 的统一框架中，等价于 RNN 架构

典型代表：RieM 使用黎曼映射编码网络权重

代表工作

RieM: 基于黎曼映射的 data-free 模型压缩

Big2Small: 证明遍历动力系统等价于 RNN，并提出更优的 INR 替代方案

相关概念

循环神经网络

测度论