Ekya:边缘计算服务器上视频分析模型的持续学习
分布式、并行与集群计算
2020-12-22 v1 人工智能
摘要
视频分析应用使用边缘计算服务器进行视频分析(出于带宽和隐私考虑)。部署在边缘服务器上用于推理的压缩模型会受到数据漂移的影响,即实时视频数据偏离训练数据。持续学习通过在新数据上定期重新训练模型来处理数据漂移。我们的工作解决了在边缘服务器上联合支持推理和重训练任务的挑战,这需要权衡重训练模型的精度与推理精度之间的基本折衷。我们的解决方案Ekya在多个模型间平衡这一折衷,并使用微剖析器识别通过重训练受益最大的模型。与基线调度器相比,Ekya的精度增益高出29%,而基线需要4倍多的GPU资源才能达到与Ekya相同的精度。
引用
@article{arxiv.2012.10557,
title = {Ekya: Continuous Learning of Video Analytics Models on Edge Compute Servers},
author = {Romil Bhardwaj and Zhengxu Xia and Ganesh Ananthanarayanan and Junchen Jiang and Nikolaos Karianakis and Yuanchao Shu and Kevin Hsieh and Victor Bahl and Ion Stoica},
journal= {arXiv preprint arXiv:2012.10557},
year = {2020}
}