AccDecoder:面向神经增强视频分析的加速解码器
计算机视觉与模式识别
2023-01-25 v2 机器学习
多媒体
摘要
视频流质量是基于神经网络的视频分析的关键。然而,现有监控系统不可避免地采集到低质量视频,原因在于摄像头质量差或过度压缩/剪枝的视频流协议,例如上游带宽限制所致。为解决此问题,现有研究使用质量增强器(如神经超分辨率)提升视频质量(如分辨率)并最终保障推理精度。然而,直接应用质量增强器在实践中不可行,因其会引入不可接受的延迟。本文提出AccDecoder,一种用于实时神经增强视频分析的新颖加速解码器。AccDecoder可通过深度强化学习(DRL)自适应选取少量帧以神经超分辨率增强质量,并将引用这些帧的未选帧进行上采样,从而带来6-21%的精度提升。AccDecoder通过DRL筛选重要帧供基于DNN的推理并提取帧与块间引用关系复用其结果,提供高效推理能力,相较基线实现20-80%的延迟降低。
引用
@article{arxiv.2301.08664,
title = {AccDecoder: Accelerated Decoding for Neural-enhanced Video Analytics},
author = {Tingting Yuan and Liang Mi and Weijun Wang and Haipeng Dai and Xiaoming Fu},
journal= {arXiv preprint arXiv:2301.08664},
year = {2023}
}
备注
Accepted by 2023 IEEE INFOCOM