双流共识网络：HACS 2021 挑战赛弱监督学习赛道的提交方案
计算机视觉与模式识别
2022-04-19 v3
摘要
本技术报告介绍了我们针对 HACS 时序动作定位挑战赛 2021 弱监督学习赛道的解决方案。弱监督时序动作定位的目标是在仅给定视频级标签的情况下，在未裁剪视频中时序定位并分类感兴趣的动作。我们在该挑战中采用双流共识网络（TSCN）作为主框架。TSCN 由双流基模型训练过程与伪真值学习过程组成。基模型训练鼓励模型基于单一模态（即 RGB 或光流）预测可靠预测，基于其融合生成伪真值，并反过来用作监督训练基模型。在 HACS v1.1.1 数据集上，在未微调特征提取 I3D 模型的情况下，我们的方法在验证集上取得 22.20% 的平均 mAP，在测试集上取得 21.68%。我们的方案在该挑战中排名第二，希望我们的方法可作为未来学术研究的基线。
引用
@article{arxiv.2106.10829,
title = {Two-Stream Consensus Network: Submission to HACS Challenge 2021 Weakly-Supervised Learning Track},
author = {Yuanhao Zhai and Le Wang and David Doermann and Junsong Yuan},
journal= {arXiv preprint arXiv:2106.10829},
year = {2022}
}
备注
Second place solution to the HACS Weakly-Supervised Temporal Action Localization Challenge 2021. arXiv admin note: text overlap with arXiv:2010.11594