DeepCache：面向移动端深度视觉的原则性缓存
计算机视觉与模式识别
2020-03-31 v5
摘要
我们提出 DeepCache，一种用于连续移动视觉中深度学习推理的原则性缓存设计。DeepCache 通过利用输入视频流中的时间局部性来提升模型执行效率。它解决了移动视觉提出的一个关键挑战：缓存必须在视频场景变化下运行，同时在可缓存性、开销与模型精度损失之间进行权衡。在模型输入处，DeepCache 通过利用视频的内部结构（为此借用了视频压缩中成熟的启发式方法）来发现视频时间局部性；在模型内部，DeepCache 通过利用模型内部结构传播可复用结果区域。值得注意的是，DeepCache 避免将视频启发式方法应用于模型内部——这些内部并非像素，而是高维、难以解释的数据。我们对 DeepCache 的实现适用于未修改的深度学习模型，无需开发者手动干预，因此可立即部署在现成移动设备上。我们的实验表明 DeepCache 平均节省 18%、最高 47% 的推理执行时间。DeepCache 平均降低 20% 的系统能耗。
引用
@article{arxiv.1712.01670,
title = {DeepCache: Principled Cache for Mobile Deep Vision},
author = {Mengwei Xu and Mengze Zhu and Yunxin Liu and Felix Xiaozhu Lin and Xuanzhe Liu},
journal= {arXiv preprint arXiv:1712.01670},
year = {2020}
}
备注
Accepted for publication in the MobiCom 2018, copyright the ACM, posted with permission