SIREN

分类: 网络架构

SIREN

定义

使用 $\sin$ 作为激活函数的 INR 架构，能精确表达高频信号及其各阶导数

核心要点

激活函数为 $\sin(\omega_0 \cdot \mathbf{W}\mathbf{x} + \mathbf{b})$，其中 $\omega_0$ 控制频率

由于 sin 的导数仍为 sin，网络各阶导数天然可解析，适合 PDE 约束优化

需特殊初始化方案保证训练稳定性（保持各层激活值分布一致）

在图像、音频、SDF 等信号的拟合精度上显著优于 ReLU MLP

代表工作

Sitzmann et al. (2020): 提出 SIREN 架构及其初始化方案

相关概念

INR