通过稀疏多级边界生成器加速时序动作提案学习
计算机视觉与模式识别
2023-03-07 v1 人工智能
摘要
视频中的时序动作定位在计算机视觉领域面临重大挑战。虽然边界敏感方法已被广泛采用，但其局限性包括中间和全局信息利用不完整，以及提案特征生成器效率低下。为应对这些挑战，我们提出了一个新颖框架——稀疏多级边界生成器（SMBG），它通过边界分类和动作完整性回归增强了边界敏感方法。SMBG具有一个多级边界模块，通过收集不同长度的边界信息实现更快处理。此外，我们引入了一个稀疏提取置信度头，区分动作内外信息，进一步优化提案特征生成器。为改善多分支间的协同并平衡正负样本，我们提出了一种全局引导损失。我们的方法在两个流行基准ActivityNet-1.3和THUMOS14上进行了评估，结果显示达到了最先进性能，且具有更好的推理速度（2.47x BSN++，2.12x DBG）。这些结果证明SMBG为生成时序动作提案提供了更高效简单的方案。我们提出的框架有潜力推进计算机视觉领域，并提升视频分析中时序动作定位的准确率和速度。代码和模型已在\url{https://github.com/zhouyang-001/SMBG-for-temporal-action-proposal}提供。
引用
@article{arxiv.2303.03166,
title = {Faster Learning of Temporal Action Proposal via Sparse Multilevel Boundary Generator},
author = {Qing Song and Yang Zhou and Mengjie Hu and Chun Liu},
journal= {arXiv preprint arXiv:2303.03166},
year = {2023}
}
备注
18 pages, 5 figures