ACGNet:用于弱监督时序动作定位的动作互补图网络
计算机视觉与模式识别
2021-12-22 v1 机器学习
摘要
未修剪视频中的弱监督时序动作定位(WTAL)因仅提供视频级标签而成为一种实用但极具挑战的任务。现有方法通常利用现成的片段级特征,其受限于空间不完整性与时间不一致性,从而制约了性能。本文从新视角出发,通过简单而有效的图卷积网络(即动作互补图网络,ACGNet)增强片段级表征来解决该问题。它促使当前视频片段从其他可能携带互补线索的片段中感知时空依赖,从而隐式缓解上述两方面问题带来的负面影响。借此,片段级特征对时空变化更具判别力与鲁棒性,有助于提升定位精度。更重要的是,所提 ACGNet 作为一个通用模块,可灵活插入不同 WTAL 框架,同时保持端到端训练方式。在 THUMOS'14 与 ActivityNet1.2 基准上的大量实验表明,最先进的结果清晰展示了所提方法的优越性。
引用
@article{arxiv.2112.10977,
title = {ACGNet: Action Complement Graph Network for Weakly-supervised Temporal Action Localization},
author = {Zichen Yang and Jie Qin and Di Huang},
journal= {arXiv preprint arXiv:2112.10977},
year = {2021}
}
备注
Accepted to AAAI 2022