基于双向语义一致性约束的弱监督时序动作定位
计算机视觉与模式识别
2023-04-26 v1
摘要
弱监督时序动作定位（WTAL）旨在仅给定训练数据集中的视频级类别标签时，对视频的动作进行分类并定位其时间边界。由于训练期间缺乏边界信息，现有方法将 WTAL 表述为一个分类问题，即生成时间类激活图（T-CAM）用于定位。然而，仅用分类损失，模型会被次优化，即动作相关场景已足以区分不同类别标签。将这些动作相关场景（即与正动作相同的场景）中的其他动作视为共场景动作，该次优化模型会将共场景动作误分类为正动作。为解决此误分类，我们提出一种简单而高效的方法，称为双向语义一致性约束（Bi-SCC），以区分正动作与共场景动作。所提 Bi-SCC 首先采用时间上下文增强生成增强视频，打破视频间正动作与其共场景动作的关联；然后，利用语义一致性约束（SCC）强制原始视频与增强视频的预测一致，从而抑制共场景动作。然而，我们发现该增强视频会破坏原始时间上下文。简单地应用一致性约束会影响所定位正动作的完整性。因此，我们通过原始与增强视频的交叉监督，以双向方式增强 SCC，在抑制共场景动作的同时确保正动作的完整性。最后，我们提出的 Bi-SCC 可应用于当前 WTAL 方法并提升其性能。实验结果表明，我们的方法在 THUMOS14 与 ActivityNet 上优于最先进的方法。
引用
@article{arxiv.2304.12616,
title = {Weakly-Supervised Temporal Action Localization with Bidirectional Semantic Consistency Constraint},
author = {Guozhang Li and De Cheng and Xinpeng Ding and Nannan Wang and Jie Li and Xinbo Gao},
journal= {arXiv preprint arXiv:2304.12616},
year = {2023}
}
备注
accepted by TNNLS