AdaScale：基于移动设备上自动适应循环的动态上下文感知 DNN 扩展
人工智能
2024-12-03 v1
摘要
深度学习正在重塑移动应用，随着将深度神经网络（DNN）直接部署到移动和嵌入式设备以解决实时性能和隐私问题的趋势日益增长。为适应本地资源限制，已develop出权重压缩、卷积分解和专用层架构等技术。然而，移动设备的动态和多样化部署环境提出了重大挑战。适应深度模型以满足不同设备对延迟、准确率、内存和能耗的特定要求的工作量巨大。此外，处理器状态的变化、内存可用性的波动以及竞争进程常常迫使需要重新压缩模型以保持用户体验。为解决这些问题，我们引入AdaScale，一个弹性推理框架，自动化深度模型适应动态环境。AdaScale利用自演化模型简化网络创建，采用多样化压缩算子组合以缩小搜索空间并提高结果，并集成资源可用性感知模块和性能分析器以建立自动适应循环。我们的实验表明，AdaScale通过5.09%显著提升准确率，将训练开销降低66.89%，加快推理延迟1.51至6.2倍，并降低能耗成本4.69倍。
引用
@article{arxiv.2412.00724,
title = {AdaScale: Dynamic Context-aware DNN Scaling via Automated Adaptation Loop on Mobile Devices},
author = {Yuzhan Wang and Sicong Liu and Bin Guo and Boqi Zhang and Ke Ma and Yasan Ding and Hao Luo and Yao Li and Zhiwen Yu},
journal= {arXiv preprint arXiv:2412.00724},
year = {2024}
}