QueryProp：面向高性能视频目标检测的目标查询传播
计算机视觉与模式识别
2022-07-25 v1
摘要
视频目标检测一直是计算机视觉中重要且具有挑战性的课题。传统方法主要关注设计图像级或框级特征传播策略以利用时序信息。本文认为，借助更高效的特征传播框架，视频目标检测器可在精度与速度上同时获益。为此，本文研究目标级特征传播，并提出一种用于高性能视频目标检测的目标查询传播（QueryProp）框架。所提QueryProp包含两种传播策略：1）查询从稀疏关键帧传播至密集非关键帧，以减少非关键帧上的冗余计算；2）查询从先前关键帧传播至当前关键帧，通过时序上下文建模改善特征表示。为进一步促进查询传播，设计了一种自适应传播门以实现灵活的关键帧选择。我们在ImageNet VID数据集上进行了充分实验。QueryProp取得了与SOTA方法相当的精度，并实现了良好的精度/速度权衡。代码见https://github.com/hf1995/QueryProp。
引用
@article{arxiv.2207.10959,
title = {QueryProp: Object Query Propagation for High-Performance Video Object Detection},
author = {Fei He and Naiyu Gao and Jian Jia and Xin Zhao and Kaiqi Huang},
journal= {arXiv preprint arXiv:2207.10959},
year = {2022}
}
备注
This paper is accepted to AAAI2022