Big2Small: 一个用于模型压缩的统一神经网络框架
机器学习
2026-04-01 v1
摘要
随着基础模型的发展，模型压缩已成为关键需求。已提出多种模型压缩方法，如低秩分解、剪枝、量化、遍历动力系统和知识蒸馏，它们基于不同的启发式方法。为了将该领域从碎片化提升到有原则的学科，我们构建了一个基于测度论的模型压缩统一数学框架。我们进一步证明每种模型压缩技术在数学上等价于一个受正则化约束的神经网络。基于这一数学和结构等价性，我们提出了一个经过实验验证的无数据模型压缩框架 \textit{Big2Small}，它将隐式神经表示（INR）从数据域转换到网络参数域。\textit{Big2Small} 训练紧凑的 INR 来编码大型模型的权重，并在推理时重建权重。为提高重建保真度，我们引入了异常值感知预处理来处理极端权重值，以及频率感知损失函数来保留高频细节。在图像分类和分割上的实验表明，\textit{Big2Small} 在准确率和压缩比方面与最先进基线相比具有竞争力。
引用
@article{arxiv.2603.29768,
title = {Big2Small: A Unifying Neural Network Framework for Model Compression},
author = {Jing-Xiao Liao and Haoran Wang and Tao Li and Daoming Lyu and Yi Zhang and Chengjun Cai and Feng-Lei Fan},
journal= {arXiv preprint arXiv:2603.29768},
year = {2026}
}