Big2Small: A Unifying Neural Network Framework for Model Compression

论文笔记：Big2Small: A Unifying Neural Network Framework for Model Compression

元信息

一句话总结

基于测度论构建模型压缩统一数学框架，并提出用紧凑 INR 编码大模型权重的 data-free 压缩方法 Big2Small

核心贡献

统一理论框架: 基于测度论证明了低秩分解、量化、剪枝、遍历动力系统、知识蒸馏五大压缩方法均可在同一数学框架下统一，且每种方法等价于带正则化的特定神经网络

Big2Small 压缩范式: 将 INR 从数据域迁移到网络参数域，用小型 INR 编码大模型权重，实现 data-free 压缩

Outlier-Aware 预处理 + Frequency-Aware 损失: 通过离群值感知预处理和频率感知损失函数提升权重重建保真度

问题背景

要解决的问题

模型压缩领域存在五大方法（低秩分解、量化、剪枝、遍历动力系统、知识蒸馏），它们基于不同启发式，缺乏统一的数学基础

现有 data-free 压缩方法在高压缩比下精度下降明显

现有方法的局限

五大压缩方法各自独立发展，缺少理论联系，难以互相借鉴

遍历动力系统方法（如 RieM）在权重重建精度上存在不足，尤其在高频细节和分布尾部

传统 知识蒸馏 需要大量训练数据

本文的动机

通过测度论统一所有压缩方法后，发现每种压缩方法都等价于一个带正则化的神经网络（Structural Equivalence），由此自然引出”用小网络编码大网络权重”的思路

INR 擅长用少量参数编码连续信号，而预训练权重可视为网格上的离散信号

方法详解

理论框架

Theory I: Universal Compressibility（通用可压缩性）

定义参数空间 $\Theta \cong \mathbb{R}^D$，原始参数集 $\Sigma \subset \Theta$ 为紧致子集

定义集合大小函数 $\mathfrak{s}(\Sigma) = \text{Pointsize}(\Sigma) \times \mathfrak{m}(\Sigma)$，其中 $\mathfrak{m}$ 为 Lebesgue 测度

核心定理: 对任意原始权重 $\theta^* \in \Sigma$ 和误差容忍度 $\epsilon > 0$，五种压缩方法均存在映射 $g$ 使得压缩集更小且逼近误差可控

Theory II: Structural Equivalence（结构等价性）

每种压缩方法都存在一个等价的神经网络压缩器 $\mathcal{G}_\psi$：

• 低秩分解 → 线性瓶颈网络（Linear Bottleneck Network）
• 量化 → 阶梯激活网络（Staircase Activation Network）
• 剪枝 → 乘性掩码网络（Multiplicative Masking Network）
• 遍历动力系统 → RNN
• 知识蒸馏 → 小型神经网络（trivially）

Big2Small 框架

Big2Small 采用 Compression-Decompression 架构：

• 输入: 大模型权重张量 $\mathbf{w} \in \mathbb{R}^{d_{out} \times d_{in}}$
• 压缩阶段: 为每个层的权重训练一个紧凑 INR，将坐标映射到权重值
• 存储: INR 参数 + 离群值字典 + 位置元数据
• 解压阶段: 推理时通过 INR 重建权重 + 回补离群值
• 可选后处理: 对 INR 权重进行 量化 进一步降低存储

核心模块

模块1: Outlier-Aware Preprocessing（离群值感知预处理）

设计动机: 原始权重中约 1% 的离群值主导 量化 误差，难以被 INR 精确逼近

具体实现:

• 提取最小和最大 1% 的权重值及其索引，存入字典
• 对剩余”主体”分布归一化到 $[-1, 1]$
• 推理时将离群值精确回补，绕过逼近误差

模块2: Frequency-Modulated INR（频率调制隐式神经表示）

设计动机: 标准 SIREN 使用固定频率 $\omega_0$，难以自适应地捕捉权重分布中的不同频率成分

具体实现:

• 双 MLP 架构: 合成网络（Synthesis Network）+ 调制网络（Modulation Network）
• 合成网络基于 SIREN + 位置编码，映射坐标到权重值
• 调制网络预测位置相关的频率图，动态缩放正弦激活的周期性
• 6 层隐藏层，宽度排列为 $[h, h, h, h/2, h/2, h/2]$，$h = \max(32, \sqrt{P/(4r)})$

模块3: Frequency-Aware Loss（频率感知损失）

设计动机: 纯 MSE 损失导致 INR 重建欠拟合高频成分

具体实现:

• 结合 MSE 损失、梯度差异损失（Gradient Difference Loss）和焦点频率损失（Focal Frequency Loss）
• 梯度损失在空间域保留边界锐利度
• 频率损失在 FFT 域保留高频模式

关键公式

公式1: 集合大小函数

含义: 定义参数集的”大小”，结合了每个点的表示精度和集合的 Lebesgue 测度

符号说明:

• $\text{Pointsize}(\Sigma)$: 每个参数点的存储位数
• $\mathfrak{m}(\Sigma)$: Lebesgue 测度

公式2: 通用可压缩性定理

含义: 对任意误差容忍度，五种压缩方法都能找到更小的参数集且逼近误差可控

符号说明:

• $\Sigma^{\dagger}$: 压缩后的参数集
• $\theta^*$: 原始权重
• $\epsilon$: 误差容忍度

公式3: 低秩逼近误差（Eckart-Young-Mirsky 定理）

含义: 低秩逼近的误差由截断的奇异值尾部决定

符号说明:

• $\sigma_i$: 第 $i$ 个奇异值
• $r$: 截断秩

公式4: 量化逼近误差

含义: 均匀量化的最大逼近误差由位宽和参数维度决定

符号说明:

• $\Delta = 2R / 2^b$: 量化步长
• $b$: 位宽
• $D$: 参数维度

公式5: 线性瓶颈网络等价

含义: 低秩分解等价于 2 层线性瓶颈网络的前向传播

符号说明:

• $\theta^{\dagger}_1 \in \mathbb{R}^{r \times m}$, $\theta^{\dagger}_2 \in \mathbb{R}^{n \times r}$: 因子矩阵

公式6: 阶梯激活网络等价

含义: 量化等价于带阶梯激活函数的网络

符号说明:

• $\psi_s$: 缩放因子
• $\psi_{zero}$: 零点偏移
• $\lfloor \cdot \rfloor$: 取整运算

公式7: 掩码网络等价

含义: 剪枝等价于学习二值掩码的门控网络

符号说明:

• $\sigma(\psi_{mask})$: Heaviside 阶跃函数（或 Gumbel-Softmax 近似）
• $\odot$: 逐元素乘法

公式8: RNN 等价

含义: 遍历动力系统的迭代映射等价于 RNN 展开

符号说明:

• $h_t$: 隐藏状态（对应混沌映射的轨道点）
• $W_{rec}, b_{rec}$: 循环层参数（对应动力系统规则）

公式9: INR 坐标-权重映射

含义: INR 将归一化坐标映射到对应位置的权重值

符号说明:

• $\mathbf{x}$: 归一化坐标
• $f_\phi$: INR 网络
• $\hat{\mathbf{w}}$: 重建的权重

公式10: Outlier-Aware Preprocessing

含义: 将权重归一化到 $[-1, 1]$ 以匹配 INR 的有效范围

符号说明:

• $w_{min}, w_{max}$: 权重的全局极值

公式11: 频率调制前向传播

含义: 调制网络输出的频率向量动态缩放正弦激活，实现位置自适应的频率控制

符号说明:

• $\mathbf{p}(\mathbf{x}) = \mathcal{M}(\mathbf{x}) + \omega_0$: 位置相关频率向量
• $\mathcal{M}(\mathbf{x})$: 调制网络输出
• $\omega_0$: 基础频率

公式12: 位置编码

含义: 将输入坐标投射到傅里叶特征空间，捕捉高频结构

符号说明:

• $\sigma$: 缩放因子
• $i \in \{0, \ldots, L-1\}$: 频带索引
• $L \approx \lfloor \log_2(S/2) \rfloor$: Nyquist 带宽限制

公式13: 频率感知总损失

含义: 结合空间域（MSE + 梯度）和频率域（FFT）损失，全面优化重建质量

符号说明:

• $\alpha = 1$: MSE 权重
• $\beta = 0.5$: 梯度损失权重
• $\psi = 0.1$: 频率损失权重

公式14: 梯度差异损失

含义: 最小化重建权重与原始权重在水平和垂直方向上的一阶差分差异

符号说明:

• $\nabla_h, \nabla_v$: 水平和垂直离散梯度算子

公式15: 焦点频率损失

含义: 在傅里叶域直接约束频谱一致性，缓解高频欠拟合

符号说明:

• $\text{FFT}(\cdot)$: 2D 快速傅里叶变换

公式16: INR 后量化

含义: 对训练好的 INR 权重进行均匀量化进一步降低存储

符号说明:

• $s = (\max(\hat{\mathbf{w}}) - \min(\hat{\mathbf{w}})) / (2^b - 1)$: 缩放因子
• $z = \min(\hat{\mathbf{w}})$: 零点

关键图表

Figure 1: Theorem 1 Framework / 定理1理论框架

{:width 600}{:width 600}

说明: 展示通用可压缩性定理（Theorem 1）的框架。原始参数集 $\Sigma$ 通过五种压缩映射（低秩、量化、剪枝、遍历、蒸馏）分别投射到对应的压缩集 $\Sigma^{\dagger}$，每种方法都满足集合大小严格缩小且逼近误差可控。

Figure 2: Theorem 2 Framework / 定理2结构等价框架

{:width 600}{:width 600}

说明: 展示结构等价性定理（Theorem 2）的框架。五种压缩方法分别等价于特定的神经网络架构：线性瓶颈网络、阶梯激活网络、掩码门控网络、RNN 和小型网络。

Figure 3: Big2Small Overview / Big2Small 框架总览

{:width 600}{:width 600}

说明: Big2Small 的整体 Compression-Decompression 架构。压缩阶段：将大模型权重张量用轻量 INR 编码；解压阶段：推理时通过 INR 重建原始权重。包含 Outlier-Aware 预处理和可选的 INR 量化步骤。

Figure 4: INR Structure / INR 结构

{:width 600}{:width 600}

说明: 频率调制 INR 的详细结构。采用双 MLP 设计：合成网络（SIREN + 位置编码）映射坐标到权重值，调制网络预测位置相关频率向量动态控制正弦激活的频率。

Figure 5: Segmentation Results / 分割结果可视化

{:width 600}{:width 600}

说明: 在 Carvana 数据集上，原始 UNet 模型与 Big2Small 压缩版本的分割结果对比。压缩后模型在视觉质量上与原始模型接近。

Figure 6: Weight Reconstruction Quality / 权重重建质量

{:width 600}{:width 600}

说明: ResNet50 卷积层权重重建质量对比。Big2Small 在权重分布形状和 Q-Q 图上都比 RieM 更精确地保持了原始分布，数据点紧贴”完美匹配”对角线。

Figure 7: Reconstruction Error vs Compression / 重建误差 vs 压缩比

{:width 600}{:width 600}

说明: 不同压缩比下 Big2Small 与 baseline 的 MAE 和余弦相似度对比。Big2Small 在所有压缩级别上均保持更低的 MAE 和更接近 1.0 的余弦相似度。

Figure 8: Q-Q Plot Loss Comparison / Q-Q 图损失函数对比

{:width 600}{:width 600}

说明: 使用 MSE 损失和频率感知损失重建线性层权重的 Q-Q 图对比。频率感知损失显著改善了高频区域的拟合质量。

Figure 9: Throughput / 吞吐量

{:width 600}{:width 600}

说明: Big2Small 与原始模型在 ImageNet 测试集上的推理吞吐量对比（RTX PRO 6000）。Big2Small 推理延迟增加约 30%，对非实时场景可接受。

Figure 10: Encoder Comparison / 编码器对比

{:width 600}{:width 600}

说明: 不同编码器（SIREN、VAE、GAN、Big2Small INR）压缩 ResNet50 卷积权重的对比。GAN 不适合此任务（MAE 极高），VAE 和 SIREN 有竞争力但仍不如 Big2Small 的 INR 结构。

Table I: Properties of Compression Methods / 压缩方法属性对比

说明: 五大压缩方法在目标、稀疏性、核心操作和数据依赖性上的系统对比

Table II: ImageNet Classification Results / ImageNet 分类结果

ResNet18 (原始: 44.6 MB, 71.47% Top1)

ResNet50 (原始: 97.5 MB, 77.72% Top1)

Swin-T (原始: 116.0 MB, 81.35% Top1)

Swin-S (原始: 200.0 MB, 83.20% Top1)

说明: Big2Small 在相同模型大小级别下展现出有竞争力的精度。ResNet50 上 Big2Small-8bit 以 73.98% Top1 超越 UDFC 和 RieM；Swin-S 上 Big2Small-6bit (80.35%) 超越 PSAQ-ViT V2 和 RieM 的 4/8-bit 版本。

Table III: Carvana Segmentation Results / Carvana 分割结果

UNet (原始: 51.5 MB, 99.52% mACC, 95.87% mIOU)

UNet++ (原始: 9.2 MB, 99.01% mACC, 95.62% mIOU)

R2UNet (原始: 39.1 MB, 99.08% mACC, 95.41% mIOU)

说明: 在分割任务上，Big2Small-32bit 在更小的模型大小下一致超越 RieM baseline

Table IV: Ablation Study / 消融实验

卷积层 (Convolution Layer)

线性层 (Linear Layer)

关键发现: Outlier-Aware 预处理贡献最大（卷积层 PSNR 从 29.32 提升到 54.21），频率感知损失进一步改善了所有指标

Table V: Combination with Other Methods / 与其他方法组合

关键发现: Big2Small 可与传统压缩方法正交组合，其中 6-bit 量化效果最佳（5.9x 压缩比，71.24% 精度）

实验

数据集

实现细节

被压缩模型: ResNet18, ResNet50, Swin-T, Swin-S, UNet, UNet++, R2UNet

预训练来源: PyTorch Image Models (timm)

优化器: AdamW，初始学习率 $10^{-4}$

学习率调度: CosineAnnealingLR，$T_{max} = 200$

训练轮数: 10,000 epochs（确保收敛）

基础压缩比: 1.5x（32-bit），可选后续量化到更低位

跳过策略: BN 层不压缩，<100KB 的层不压缩，重建 MSE > 0.01 的层保留原始

硬件: NVIDIA RTX PRO 6000 GPU

可视化结果

Big2Small 在权重分布保持上远优于 RieM，Q-Q 图紧贴对角线

推理延迟增加约 30%，对存储受限的边端部署场景可接受

分割可视化显示压缩后模型与原始模型视觉质量接近

批判性思考

优点

理论贡献突出: 首次用测度论统一了五大模型压缩方法，建立了”压缩 = 带正则化的神经网络”这一优美对应

Data-free: 不需要训练数据或合成数据，对隐私敏感场景和大模型（训练数据不可获取）非常实用

模块化可组合: Big2Small 本身是神经网络，可以与 SVD/剪枝/量化正交组合，实现更高压缩比

权重重建质量: 消融实验和 Q-Q 图都表明 Big2Small 的重建保真度显著优于 RieM

局限性

推理开销: 需要先用 INR 重建权重再前向传播，推理延迟增加约 30%，不适合实时场景

32-bit 压缩比偏低: 纯 INR 编码（不量化）只有 1.4-1.9x 压缩比，实际价值有限；需要叠加量化才能达到 5-8x

实验规模偏小: 只在 ResNet/Swin/UNet 上验证，缺少 LLM（如 LLaMA）等大模型实验，而 data-free 压缩对 LLM 最有价值

训练成本高: 每个层需要训练 10,000 epochs 的 INR，大模型逐层训练的总时间成本未评估

Baseline 对比不完全公平: Big2Small 在 32-bit 下与 4-6 bit 量化方法对比精度，但模型大小差距很大

潜在改进方向

扩展到 LLM: 在 LLaMA/GPT 等大模型上验证，这才是 data-free 压缩的杀手级应用

INR 推理加速: 预计算并缓存权重，或用 structured INR 减少重建时间

更高效的 INR 架构: 论文提到 polynomial networks 等，也可探索 KAN

跨层共享 INR: 利用层间权重相似性，用一个 INR 编码多层权重

可复现性评估

• 代码开源（未提供）
• 预训练模型（未提供）
• 训练细节完整（超参数、优化器、调度器均给出）
• 数据集可获取（ImageNet、Carvana 均为公开数据集）

关联笔记

基于

INR: 核心方法，将 INR 从数据域迁移到参数域

SIREN: INR 的激活函数基础

Positional Encoding: 傅里叶特征编码

对比

RieM: 基于遍历动力系统的 data-free 压缩，本文主要对比对象

Squant: 量化方法 baseline

UDFC: data-free 压缩 baseline

PSAQ-ViT: ViT 量化方法 baseline

方法相关

低秩分解: 统一框架中的一种，等价于线性瓶颈网络

量化: 统一框架中的一种，用于 INR 后量化

剪枝: 统一框架中的一种，等价于掩码门控网络

知识蒸馏: 统一框架中的一种

遍历动力系统: 统一框架中的一种，等价于 RNN

测度论: 理论框架基础

硬件/数据相关

ImageNet: 分类评估数据集

NVIDIA RTX PRO 6000: 实验硬件

速查卡片

Big2Small: A Unifying Neural Network Framework for Model Compression

• 核心: 测度论统一五大压缩方法 + 用 INR 编码大模型权重的 data-free 压缩
• 方法: Outlier-Aware 预处理 + 频率调制 INR + 频率感知损失
• 结果: ResNet50 8-bit 73.98% Top1 (7.7x)，Swin-S 6-bit 80.35% Top1 (7.5x)
• 代码: 未开源

笔记创建时间: 2026-04-02