消失贡献：平滑迭代模型压缩的统一框架

深度神经网络规模的不断扩大引入了对压缩技术的需求，例如剪枝、量化和低秩分解。虽然这些方法在减少内存、计算和能耗方面非常有效，但它们可能导致严重的精度下降，这通常通过迭代、渐进压缩来缓解。然而，不同的压缩技术需要不同的迭代方法，有些会导致不稳定、不连续的模型微调。我们引入了消失贡献，一个用于将深度神经网络平滑、迭代过渡到压缩形式的统一框架。消失贡献不是直接用压缩版本替换原始网络，而是在微调期间并行执行两者。原始（未压缩）模型的贡献逐渐减少，而压缩模型的贡献逐渐增加。这种仿射组合允许网络缓慢适应，提高稳定性并减轻精度下降。我们在计算机视觉和自然语言处理基准上，使用多种压缩策略评估了消失贡献。在大多数设置中，我们的框架比一次性压缩和迭代基线提高了准确性。典型增益超过1%，而某些配置的改进超过15%。因此，消失贡献与现有压缩技术兼容，并在不同任务上持续提升性能。