基于可迁移知识的多粒度聚合网络用于时序动作定位：ActivityNet挑战赛2021提交方案
计算机视觉与模式识别
2021-07-28 v1
摘要
本技术报告概述了我们在2021 HACS时序动作定位挑战赛有监督学习赛道和弱监督学习赛道提交中所使用的方案。时序动作定位(TAL)不仅要求精确锁定动作实例的时间边界，还需将未修剪视频准确分类至特定类别。而弱监督TAL意指仅利用视频级类标签来定位动作实例。本文中，为训练有监督时序动作定位器，我们采用时序上下文聚合网络(TCANet)，通过“局部与全局”时序上下文聚合及互补渐进式边界细化来生成高质量动作提议。针对WSTAL，提出一种新框架以处理简单分类网络生成的CAS质量较差的问题，此类CAS仅关注局部判别性部分，而非定位目标动作的整个区间。进一步受迁移学习方法启发，我们还采用额外模块将知识从修剪视频(HACS Clips数据集)迁移至未修剪视频(HACS Segments数据集)，以提升未修剪视频上的分类性能。最后，我们采用嵌入外-内对比(OIC)损失的边界回归模块，基于增强的CAS自动预测边界。我们提出的方案在有监督和弱监督时序动作定位赛道的挑战测试集上分别取得了39.91和29.78的平均mAP。
引用
@article{arxiv.2107.12618,
title = {Transferable Knowledge-Based Multi-Granularity Aggregation Network for Temporal Action Localization: Submission to ActivityNet Challenge 2021},
author = {Haisheng Su and Peiqin Zhuang and Yukun Li and Dongliang Wang and Weihao Gan and Wei Wu and Yu Qiao},
journal= {arXiv preprint arXiv:2107.12618},
year = {2021}
}
备注
Winner of HACS21 Challenge Weakly Supervised Learning Track with extra data. arXiv admin note: text overlap with arXiv:2103.13141