DyCE: 用于深度学习压缩和实时缩放的动态可配置退出
机器学习
2025-05-09 v3 人工智能
摘要
传统的深度学习（DL）模型压缩和缩放方法侧重于改变模型的组件，从而均匀地影响所有样本的结果。然而，由于样本难度不同，一种根据样本复杂度自适应计算的动态模型为压缩和缩放提供了新的视角。尽管有这种潜力，现有的动态模型通常是整体且特定于模型的，限制了它们作为通用压缩和缩放方法的泛化能力。此外，大多数已部署的DL系统是固定的，一旦部署就无法调整其规模，因此无法适应变化的实时需求。本文介绍了DyCE，一个动态可配置的系统，可以在运行时调整DL模型的性能-复杂度权衡，而无需在推理硬件上重新初始化或重新部署。DyCE通过向原始模型的中间层添加小型退出网络来实现这一点，如果获得可接受的结果，则可以提前终止计算。DyCE还解耦了高效动态模型的设计，便于轻松适应新的基础模型，并可能在压缩和缩放中通用。我们还提出了生成优化配置以及确定退出网络的类型和位置的方法，以实现所需的性能和复杂度权衡。通过启用简单的配置切换，DyCE提供了实时的细粒度性能调整。我们通过使用深度卷积神经网络（CNN）的图像分类任务展示了DyCE的有效性。在ImageNet上，DyCE将ResNet152的计算复杂度降低了23.5%，将ConvNextv2-tiny降低了25.9%，同时准确率下降不到0.5%。
引用
@article{arxiv.2403.01695,
title = {DyCE: Dynamically Configurable Exiting for Deep Learning Compression and Real-time Scaling},
author = {Qingyuan Wang and Barry Cardiff and Antoine Frappé and Benoit Larras and Deepu John},
journal= {arXiv preprint arXiv:2403.01695},
year = {2025}
}