CBR-Net：用于动作检测的级联边界细化网络：提交至 ActivityNet 挑战赛 2020（任务 1）
计算机视觉与模式识别
2020-06-25 v2
摘要
在本报告中，我们展示了针对 ActivityNet 挑战赛 2020 中时序动作定位（检测）（任务 1）的解决方案。该任务的目的是在长未剪辑视频中时序定位感兴趣动作发生的区间并预测动作类别。我们的解决方案主要包括三个部分：1）特征编码：我们应用了三种骨干网络，包括 TSN [7]、Slowfast [3] 和 I3d [1]，它们均在 Kinetics 数据集 [2] 上进行了预训练。应用这些模型，我们可以提取片段级的视频表示；2）提议生成：我们选择 BMN [5] 作为基线，并在此基础上设计了一个级联边界细化网络（CBR-Net）来进行提议检测。CBR-Net 主要包含两个模块：时序特征编码模块，应用 BiLSTM 编码长时时序信息；CBR 模块，旨在不同参数设置下细化提议精度；3）动作定位：在此阶段，我们结合由微调网络获得的视频级分类结果来预测每个提议的类别。此外，我们还应用了不同的集成策略来提高所设计解决方案的性能，最终在 ActivityNet v1.3 数据集的测试集上，就平均精度均值指标而言，我们达到了 42.788%。
引用
@article{arxiv.2006.07526,
title = {CBR-Net: Cascade Boundary Refinement Network for Action Detection: Submission to ActivityNet Challenge 2020 (Task 1)},
author = {Xiang Wang and Baiteng Ma and Zhiwu Qing and Yongpeng Sang and Changxin Gao and Shiwei Zhang and Nong Sang},
journal= {arXiv preprint arXiv:2006.07526},
year = {2020}
}
备注
ActivityNet Challenge 2020 Temporal Action Localization (Task 1) Champion Solution (Rank 1)