深度神经网络低秩压缩的理论保证
机器学习
2026-02-18 v1 信息论
math.IT
摘要
深度神经网络已在众多应用中取得了最先进的性能，但其高内存和计算需求带来了重大挑战，尤其是在资源受限的环境中。模型压缩技术，如低秩近似，通过减小这些网络的规模和复杂性，同时仅最低限度地牺牲精度，提供了一种有前景的解决方案。在本文中，我们为数据驱动的训练后低秩压缩开发了一个分析框架。我们证明了三个恢复定理，这些定理基于关于激活值近似低秩结构的逐步减弱的假设，并通过噪声对偏差进行建模。我们的结果朝着解释为什么数据驱动的低秩压缩方法优于数据无关方法，以及朝着在保持性能的同时降低推理成本的理论基础压缩算法迈出了一步。
引用
@article{arxiv.2502.02766,
title = {Theoretical Guarantees for Low-Rank Compression of Deep Neural Networks},
author = {Shihao Zhang and Rayan Saab},
journal= {arXiv preprint arXiv:2502.02766},
year = {2026}
}