JCDNet：面向弱监督时序动作定位的公共与确定阶段联合网络
计算机视觉与模式识别
2023-03-31 v1
摘要
弱监督时序动作定位旨在仅利用视频级标注在未裁剪视频中定位动作实例。我们观察到不同动作存在公共阶段，例如跳高和跳远中的助跑。这些不同动作被定义为联合动作，其其余部分为确定阶段，例如跳高中越过横杆。与公共阶段相比，确定阶段在现有研究中更易被定位。现有方法多将该任务建模为多示例学习(Multiple Instance Learning)范式，其中公共阶段易与背景混淆，影响联合动作定位的完整性。为应对此挑战，我们通过提升联合动作的特征判别性，提出公共与确定阶段联合网络(JCDNet)。具体而言，我们设计类感知判别模块，在粗粒度确定阶段特征引导下增强公共阶段在分类中的贡献。此外，我们引入时序注意力模块，通过建模时序依赖学习鲁棒的动作性分数，以区分公共阶段与背景。在三个数据集(THUMOS14、ActivityNetv1.2及一个联合动作子集)上的大量实验表明，JCDNet取得了与当前最优(state-of-the-art)方法相竞争的性能。
引用
@article{arxiv.2303.17294,
title = {JCDNet: Joint of Common and Definite phases Network for Weakly Supervised Temporal Action Localization},
author = {Yifu Liu and Xiaoxia Li and Zhiling Luo and Wei Zhou},
journal= {arXiv preprint arXiv:2303.17294},
year = {2023}
}