用于时序动作检测的方案关系网络
计算机视觉与模式识别
2021-06-23 v1
摘要
本技术报告介绍了我们在 ActivityNet Challenge 2021 时序动作检测任务中的解决方案。该任务旨在长未剪辑视频中定位并识别感兴趣的动作。任务的关键挑战在于动作的时间持续时间差异巨大，且目标动作通常嵌入在无关活动的背景中。我们的方案构建于 BMN 之上，主要包含三个步骤：1）利用 Slowfast、CSN 和 ViViT 进行动作分类与特征编码；2）方案生成。我们通过嵌入所提出的方案关系网络（PRN）改进 BMN，从而生成高质量方案；3）动作检测。我们通过将方案与相应分类结果进行匹配来计算检测结果。最后，我们在不同设置下集成结果，在测试集上达到 44.7%，相较 ActivityNet 2020 的冠军结果在平均 mAP 上提升了 1.9%。
引用
@article{arxiv.2106.11812,
title = {Proposal Relation Network for Temporal Action Detection},
author = {Xiang Wang and Zhiwu Qing and Ziyuan Huang and Yutong Feng and Shiwei Zhang and Jianwen Jiang and Mingqian Tang and Changxin Gao and Nong Sang},
journal= {arXiv preprint arXiv:2106.11812},
year = {2021}
}
备注
CVPR-2021 ActivityNet Temporal Action Localization Challenge champion solution (1st Place)