一种用于构建压缩策略的通用误差理论分析框架

深度模型参数规模和计算复杂度的指数级增长为高效部署带来了重大挑战。现有压缩方法的核心问题在于，不同层对压缩水平的容忍度存在显著差异。例如，模型的第一层通常在不损害性能的情况下能够承受更高的压缩水平，而最后一层则相对脆弱。因此，关键挑战在于如何分配各层的压缩水平，以在最小化性能损失的同时实现参数规模的最大化。为此，我们提出Compression Error Theory（CET）框架，旨在确定每个层的最优压缩水平。以量化为例，CET利用差分扩张和代数几何将量化误差的二次形式重构为椭球体和双曲抛物面，并利用其几何结构定义误差子空间。通过对几何空间进行正交分解，CET将误差子空间的优化过程转化为一个互补问题。最终的理论分析表明，沿主要轴构建量化子空间可实现最小性能退化。通过对理论的实验验证，CET在压缩方面可显著保留性能。具体而言，在ResNet-34模型上，CET实现了近乎11倍的参数压缩，甚至在某些指标上超越了原始模型的性能。