AutoScale：随机方差下端到端边缘推理的能效优化
机器学习
2020-05-07 v1 分布式、并行与集群计算
摘要
深度学习推理正日益在边缘端运行。随着编程与系统栈支持的成熟，移动系统内部出现了加速机会，其系统性能包络可通过大量可编程协处理器进行扩展。因此，为移动用户设计的智能服务可以选择在 CPU、移动系统上的任一协处理器上运行推理，或利用云或附近本地连接系统等互联系统。通过这种方式，服务可以扩展性能并提升边缘移动系统的能效。这带来了一个新的挑战——决定推理何时在何处运行。由于移动-云执行的随机性，此类执行扩展决策变得更加复杂，其中无线网络的信号强度变化与资源干扰会显著影响实时推理性能与系统能效。为实现边缘端准确且高能效的深度学习推理，本文提出 AutoScale。AutoScale 是一个基于定制设计的强化学习算法构建的自适应轻量级执行扩展引擎。它持续学习并选择最具能效的推理执行目标，同时考虑协作云-边执行环境中神经网络与可用系统的特性，并适应随机运行时方差。考虑真实执行场景的实际系统实现与评估表明，相较于基线移动 CPU 与云卸载，DNN 边缘推理的能效平均分别提升 9.8 倍与 1.6 倍，同时满足实时性能与精度要求。
引用
@article{arxiv.2005.02544,
title = {AutoScale: Optimizing Energy Efficiency of End-to-End Edge Inference under Stochastic Variance},
author = {Young Geun Kim and Carole-Jean Wu},
journal= {arXiv preprint arXiv:2005.02544},
year = {2020}
}