面向弱监督时序动作定位的细粒度时序对比学习
计算机视觉与模式识别
2022-04-01 v1
摘要
我们致力于弱监督动作定位 (WSAL) 任务，其中模型训练时仅提供视频级动作标签。尽管近期取得进展，现有方法主要奉行“先定位后分类”范式，忽视视频序列间丰富的细粒度时序差异，因而在分类学习及分类到定位的适配中存在严重歧义。本文主张，通过上下文比较序列间差异为 WSAL 提供了本质归纳偏置，并有助于识别连贯的动作实例。具体而言，在可微动态规划框架下，设计两个互补对比目标：细粒度序列距离 (FSD) 对比与最长公共子序列 (LCS) 对比；前者利用匹配、插入和删除算子考量各类动作/背景候选的关系，后者挖掘两视频间的最长公共子序列。两对比模块可相互增强，并共同具备判别性动作-背景分离与缓解分类-定位任务鸿沟的优势。大量实验表明，我们的方法在两个流行基准上取得最先进 (SOTA) 性能。代码见 https://github.com/MengyuanChen21/CVPR2022-FTCL。
引用
@article{arxiv.2203.16800,
title = {Fine-grained Temporal Contrastive Learning for Weakly-supervised Temporal Action Localization},
author = {Junyu Gao and Mengyuan Chen and Changsheng Xu},
journal= {arXiv preprint arXiv:2203.16800},
year = {2022}
}
备注
Accepted by CVPR 2022. Code is available at https://github.com/MengyuanChen21/CVPR2022-FTCL