宽多层感知器的理论压缩界限
机器学习
2025-12-09 v1 统计理论
统计理论
摘要
修剪和量化技术在减少大型神经网络所需参数数量方面取得了广泛成功，但其实证成功的理论依据不足。我们考虑一种用于修剪和量化后训练的随机贪心压缩算法，并用它严格地表明具有竞争性能的多层感知器 (MLP) 的修剪/量化子网的存在。我们进一步将结果扩展到 MLP 和卷积神经网络 (CNN) 的结构化修剪，从而为宽网络的修剪提供统一分析。我们的结果不依赖数据假设，展示了压缩性与网络宽度之间的权衡。我们考虑的算法与 Optimal Brain Damage (OBD) 有一些相似之处，可视为其后训练的随机版本。我们推导的理论结果弥合了理论与应用在 MLP 修剪/量化之间的鸿沟，为宽多层感知器压缩的实证成功提供了解释。
引用
@article{arxiv.2512.06288,
title = {Theoretical Compression Bounds for Wide Multilayer Perceptrons},
author = {Houssam El Cheairi and David Gamarnik and Rahul Mazumder},
journal= {arXiv preprint arXiv:2512.06288},
year = {2025}
}