基于背景约束的时间动作提案生成
计算机视觉与模式识别
2021-12-16 v1
摘要
时间动作提案生成（TAPG）是一项具有挑战性的任务，旨在利用时间边界在未裁剪视频中定位动作实例。为了评估提案的置信度，现有工作通常预测提案的动作分数，并以提案与真值之间的时间交并比（tIoU）作为监督。本文创新性地提出了一种通用的辅助背景约束（Background Constraint）思想，通过利用背景预测分数来限制提案的置信度，从而进一步抑制低质量提案。由此，背景约束概念可轻松以即插即用的方式融入现有 TAPG 方法（如 BMN、GTAD）。基于此，我们提出背景约束网络（BCNet），以进一步利用动作与背景的丰富信息。具体而言，我们引入动作-背景交互模块用于可靠的置信度评估，该模块在帧和片段级别通过注意力机制对动作与背景的不一致性进行建模。我们在两个流行基准（即 ActivityNet-1.3 和 THUMOS14）上进行了大量实验。结果表明，我们的方法优于当前最优（SOTA）方法。结合现有动作分类器，我们的方法在时间动作定位任务上也取得了显著性能。
引用
@article{arxiv.2112.07984,
title = {Temporal Action Proposal Generation with Background Constraint},
author = {Haosen Yang and Wenhao Wu and Lining Wang and Sheng Jin and Boyang Xia and Hongxun Yao and Hujie Huang},
journal= {arXiv preprint arXiv:2112.07984},
year = {2021}
}
备注
Accepted by AAAI2022. arXiv admin note: text overlap with arXiv:2105.12043