BSN++：用于时序动作提案生成的带尺度均衡关系建模的互补边界回归器
计算机视觉与模式识别
2021-03-02 v5
摘要
在未裁剪视频中生成人体动作提案是一项重要且具有挑战性的任务，应用广泛。现有方法常受限于噪声边界位置以及用于提案检索的置信度分数质量不佳。本文提出 BSN++，一种利用互补边界回归器与关系建模进行时序提案生成的新框架。首先，我们基于起始与结束边界分类器的互补特性提出了一种新颖的边界回归器。具体而言，我们利用带嵌套跳跃连接的 U 形架构来捕获丰富上下文，并引入双向边界匹配机制以提升边界精度。其次，为考虑以往方法忽略的提案-提案关系，我们设计了一个提案关系块，其包含从位置与通道两个方面的自注意力模块。此外，我们发现正/负提案与时长之间不可避免地存在数据不均衡问题，损害了模型在长尾分布上的性能。为缓解此问题，我们引入了尺度均衡重采样策略。在两个流行基准 ActivityNet-1.3 与 THUMOS14 上进行了大量实验，表明 BSN++ 取得了最先进的性能。毫不意外，所提出的 BSN++ 在 CVPR19 - ActivityNet 挑战赛时序动作定位任务排行榜上位居第一。
引用
@article{arxiv.2009.07641,
title = {BSN++: Complementary Boundary Regressor with Scale-Balanced Relation Modeling for Temporal Action Proposal Generation},
author = {Haisheng Su and Weihao Gan and Wei Wu and Yu Qiao and Junjie Yan},
journal= {arXiv preprint arXiv:2009.07641},
year = {2021}
}
备注
Accepted by AAAI 2021. Ranked 1st place in the CVPR19 - ActivityNet Challenge leaderboard on Temporal Action Localization task. arXiv admin note: substantial text overlap with arXiv:2007.09883