面向高质量时序动作检测：基于稀疏候选框的方法
计算机视觉与模式识别
2021-09-21 v1
摘要
时序动作检测（TAD）是视频理解中一个基础且具有挑战性的课题，旨在定位包含人类动作实例的时间段并预测动作类别。以往工作极大依赖于稠密候选，或通过设计不同锚框或枚举视频序列上所有边界组合来实现；因此，它们涉及复杂的流程和对人工设计的敏感依赖。近来，随着Transformer的复兴，基于查询的方法因其简洁与灵活趋于成为新兴解决方案。然而，基于查询的方法与成熟方法之间仍存在性能差距。在本文中，我们指出主要挑战在于动作时长的巨大差异以及短动作实例边界的模糊性；而二次计算复杂度的全局注意力阻碍了基于查询的方法构建多尺度特征图。为迈向高质量时序动作检测，我们引入稀疏候选框（Sparse Proposals）与分层特征交互。在我们名为SP-TAD的方法中，每个候选框关注时间特征金字塔中的局部片段特征。该局部交互使得利用高分辨率特征以保留动作实例细节成为可能。大量实验证明了我们方法的有效性，尤其在高tIoU阈值下。例如，我们在THUMOS14上取得了最先进性能（[email protected]为45.7%，[email protected]为33.4%，mAP@Avg为53.5%），并在ActivityNet-1.3上取得有竞争力的结果（mAP@Avg为32.99%）。代码将发布于https://github.com/wjn922/SP-TAD。
引用
@article{arxiv.2109.08847,
title = {Towards High-Quality Temporal Action Detection with Sparse Proposals},
author = {Jiannan Wu and Peize Sun and Shoufa Chen and Jiewen Yang and Zihao Qi and Lan Ma and Ping Luo},
journal= {arXiv preprint arXiv:2109.08847},
year = {2021}
}
备注
10 pages, 5 figures