ALERT:面向能耗与时效性的精确学习
性能
2024-07-09 v2 机器学习
摘要
越来越多的软件应用在运行时集成深度神经网络(DNNs)以处理传感器数据并向人类返回推断结果。在这些交互式场景中有效部署DNNs需要满足延迟与精度约束,同时最小化能耗,而常见的系统动态性使该问题更加严峻。已有方法通过以下方式处理动态性:(1)系统无关的DNN自适应,调整DNN延迟/精度权衡;或(2)应用无关的系统自适应,调整资源以改变延迟/能耗权衡。相比之下,本文通过协调应用层与系统层自适应改进了现有最优水平。ALERT是我们的运行时调度器,它使用概率模型检测环境波动,然后同时选择DNN与系统资源配置以满足延迟、精度与能耗约束。我们在动态环境的CPU与GPU平台上针对图像与语音任务评估了ALERT。ALERT的整体方法相较仅于应用或系统单层自适应的已有方法实现了超过13%的能耗降低与27%的误差降低。此外,ALERT仅比具备完美应用与系统知识的预言机方案多消耗3%的能耗与高出2%的DNN推断误差。
引用
@article{arxiv.1911.00119,
title = {ALERT: Accurate Learning for Energy and Timeliness},
author = {Chengcheng Wan and Muhammad Santriaji and Eri Rogers and Henry Hoffmann and Michael Maire and Shan Lu},
journal= {arXiv preprint arXiv:1911.00119},
year = {2024}
}