减少折叠：从投影几何视角看模型压缩
机器学习
2026-02-23 v1 人工智能
摘要
在大规模部署中，无需重新训练地压缩神经网络至关重要。我们从投影几何的视角研究无校准压缩：结构剪枝是轴对齐投影，而模型折叠通过权重聚类实现低秩投影。我们将两者形式化为正交算子，并指出在秩距离为1的情况下，折叠在参数重构误差上可证明更小；在mild光滑性假设下，折叠产生的功能扰动更小。我们在规模上评估了超过1000个检查点，涵盖ResNet18、PreActResNet18、ViT-B/32和CLIP ViT-B/32在CIFAR-10和ImageNet-1K上的情况，覆盖多样化的训练超参数（优化器、学习率、数据增强、正则化、锐度感知训练），以及多个LLaMA家族60M和130M参数模型在C4上的训练。我们显示，折叠通常实现更高的后压缩准确率，在中等偏高压缩时获得最大收益。差距在特定训练设置下逐渐缩小甚至偶尔反转。我们的结果将折叠定位为一种几何感知的、无校准的剪枝替代方案，其在实践中常优于后者且在原理上更为严谨。
引用
@article{arxiv.2602.18116,
title = {Cut Less, Fold More: Model Compression through the Lens of Projection Geometry},
author = {Olga Saukh and Dong Wang and Haris Šikić and Yun Cheng and Lothar Thiele},
journal= {arXiv preprint arXiv:2602.18116},
year = {2026}
}
备注
Accepted by ICLR 2026