面向边缘设备超轻量视频智能的数据-模型-电路协同设计
计算机视觉与模式识别
2022-10-19 v2 硬件体系结构
摘要
本文提出一种数据-模型-硬件协同设计框架，用于在高清(HD)视频流上实现高吞吐、低成本、高精度的多目标跟踪(MOT)。首先，为实现超轻量视频智能，我们提出时间帧滤波与空间显著性聚焦方法，以降低海量视频数据的复杂度。其次，我们利用结构感知权重稀疏性设计了一种硬件友好的模型压缩方法。第三，借助数据与模型复杂度的降低，我们提出了一种稀疏感知、可扩展、低功耗的加速器设计，旨在以高能效提供实时性能。与现有工作不同，我们朝着现实MOT模型实现的软件/硬件协同优化迈出了坚实一步。与最先进的MOT基线相比，我们的三设计方法可实现12.5倍延迟降低、20.9倍有效帧率提升、5.83倍更低功耗以及9.78倍更优能效，且精度下降不大。
引用
@article{arxiv.2210.08578,
title = {Data-Model-Circuit Tri-Design for Ultra-Light Video Intelligence on Edge Devices},
author = {Yimeng Zhang and Akshay Karkal Kamath and Qiucheng Wu and Zhiwen Fan and Wuyang Chen and Zhangyang Wang and Shiyu Chang and Sijia Liu and Cong Hao},
journal= {arXiv preprint arXiv:2210.08578},
year = {2022}
}
备注
Accepted to ASP-DAC'23