通过自适应模型流式传输在边缘设备上进行实时视频推理
机器学习
2021-04-07 v2 计算机视觉与模式识别
网络与互联网体系结构
图像与视频处理
机器学习
摘要
由于深度神经网络的高计算成本，在手机和无人机等边缘设备上进行实时视频推理具有挑战性。我们提出自适应模型流式传输（AMS），一种用于提升边缘设备上视频推理的高效轻量模型性能的新方法。AMS 使用远程服务器持续训练并适配运行在边缘设备上的小模型，通过来自大型最先进模型的在线知识蒸馏，提升其在实时视频上的性能。我们讨论了视频推理中网络化模型适配的挑战，并提出了若干降低该方法通信成本的技术：避免过度的过拟合、更新少量重要模型参数、以及在边缘设备上自适应采样训练帧。在视频语义分割任务上，我们的实验结果显示，在多个视频数据集上相较预训练模型平均交并比提升 0.4–17.8%。我们的原型可在三星 Galaxy S10+ 手机上以 30 帧每秒进行视频分割，相机到标签延迟为 40 毫秒，设备上下行带宽均低于 300 Kbps。
引用
@article{arxiv.2006.06628,
title = {Real-Time Video Inference on Edge Devices via Adaptive Model Streaming},
author = {Mehrdad Khani and Pouya Hamadanian and Arash Nasr-Esfahany and Mohammad Alizadeh},
journal= {arXiv preprint arXiv:2006.06628},
year = {2021}
}