BMN:用于时序动作提议生成的边界匹配网络
计算机视觉与模式识别
2019-07-24 v1
摘要
时序动作提议生成是一项具有挑战性且前景广阔的 task,旨在定位真实视频中可能发生动作或事件的时间区域。当前自底向上的提议生成方法能生成边界精确的提议,但无法高效地为检索提议生成充分可靠的置信度分数。为应对这些困难,我们引入边界匹配(BM)机制来评估密集分布提议的置信度分数,该机制将一个提议表示为起始与结束边界的匹配对,并将所有密集分布的 BM 对组合为 BM 置信度图。基于 BM 机制,我们提出一种有效、高效且端到端的提议生成方法,称为边界匹配网络(BMN),其同时生成具有精确时间边界和可靠置信度分数的提议。BMN 的双分支在统一框架中联合训练。我们在两个具挑战性的数据集 THUMOS-14 和 ActivityNet-1.3 上进行实验,BMN 展现出显著的性能提升以及卓越的效率和泛化性。进一步,结合现有动作分类器,BMN 可实现最先进的时序动作检测性能。
引用
@article{arxiv.1907.09702,
title = {BMN: Boundary-Matching Network for Temporal Action Proposal Generation},
author = {Tianwei Lin and Xiao Liu and Xin Li and Errui Ding and Shilei Wen},
journal= {arXiv preprint arXiv:1907.09702},
year = {2019}
}
备注
This paper is accepted by ICCV 2019