用于视频定位的密集回归网络
计算机视觉与模式识别
2020-04-08 v1
摘要
我们解决基于自然语言查询的视频定位问题。该任务的关键挑战在于，一段训练视频可能仅包含少量标注的起始/结束帧可用作模型训练的正例。大多数常规方法直接使用此类不平衡数据训练二分类器，因而取得较差结果。本文的核心思想是利用真值片段内帧与起始（结束）帧之间的距离作为密集监督以提升视频定位精度。具体而言，我们设计了一种新颖的密集回归网络（DRN）来回归每一帧到查询所描述的视频片段起始（结束）帧的距离。我们还提出一个简单而有效的 IoU 回归头模块，以显式考量定位结果的质量（即预测位置与真值之间的 IoU）。实验结果表明，我们的方法在三个数据集（即 Charades-STA、ActivityNet-Captions 和 TACoS）上显著优于当前最优方法。
引用
@article{arxiv.2004.03545,
title = {Dense Regression Network for Video Grounding},
author = {Runhao Zeng and Haoming Xu and Wenbing Huang and Peihao Chen and Mingkui Tan and Chuang Gan},
journal= {arXiv preprint arXiv:2004.03545},
year = {2020}
}
备注
CVPR 2020