ShadowTutor：面向移动视频 DNN 推理的分布式部分蒸馏
分布式、并行与集群计算
2020-06-08 v2
摘要
继深度神经网络（DNN）在视频计算机视觉任务上取得近期成功之后，对源自移动设备的视频执行 DNN 推理已具有实际意义。为此，先前的方法开发了将图像 DNN 推理计算卸载至云服务器以应对移动设备资源限制的方案。然而，对于视频数据，传输每一帧的信息会消耗过多网络带宽，并使整个系统易受拥塞等不利网络状况的影响。因此，在本工作中，我们试图利用视频流相邻帧间的时间相干性来缓解网络压力。具体而言，我们提出 ShadowTutor，一种通过间歇性地向学生模型进行知识蒸馏来减少网络传输次数的分布式视频 DNN 推理框架。此外，我们仅更新学生模型参数的一部分（称之为部分蒸馏），以减小每次网络传输的数据量。具体地，服务器运行一个大型通用教师模型，而移动设备仅运行一个极小但专用的学生模型。在稀疏选择的关键帧上，服务器以教师模型的响应为目标对学生模型进行部分训练，并将更新部分发送至移动设备。我们借助高清视频语义分割考察了 ShadowTutor 的有效性。评估表明网络数据传输平均减少 95%。此外，系统吞吐量提升逾三倍，并对网络带宽变化表现出鲁棒性。
引用
@article{arxiv.2003.10735,
title = {ShadowTutor: Distributed Partial Distillation for Mobile Video DNN Inference},
author = {Jae-Won Chung and Jae-Yun Kim and Soo-Mook Moon},
journal= {arXiv preprint arXiv:2003.10735},
year = {2020}
}
备注
Accepted at ICPP 2020