低精度下的结构稀疏极端模型压缩
计算机视觉与模式识别
2025-11-12 v1 人工智能
机器学习
摘要
深度神经网络（DNN）被广泛应用于各种应用，但其庞大的文件大小和高计算成本使其难以在资源有限的设备上运行。权重量化降低所有权重的精度，而结构稀疏通过保留重要权重而移除不重要的权重，两者在各自方面都非常有效，但通常在隔离环境中研究，因为两者组合时对模型准确率的复合负面影响显而易见。在本工作中，我们引入 SLOPE（Structured Sparsity at Low Precision），一个统一的框架，有效地以原则方式结合结构稀疏和低位量化。我们表明，盲目组合稀疏和量化会严重损害性能，因为两者的复合影响。为此，我们提出一种训练时正则化策略，通过促进全精度权重与其稀疏、量化后版本之间的角度对齐，而非直接匹配，从而最小化两者之间的差异。在 ResNet-18 上，SLOPE 实现约 20 倍的模型大小压缩，同时保留约 99% 的原始准确率。它在分类、检测和分割任务上 consistently 超过当前量化和结构稀疏方法的 SOTA 方法，适用于 ResNet-18、ViT-Small 和 Mask R-CNN 等模型。
引用
@article{arxiv.2511.08360,
title = {Extreme Model Compression with Structured Sparsity at Low Precision},
author = {Dan Liu and Nikita Dvornik and Xue Liu},
journal= {arXiv preprint arXiv:2511.08360},
year = {2025}
}
备注
36th British Machine Vision Conference 2025