CoLA：基于片段对比学习的弱监督时序动作定位
计算机视觉与模式识别
2021-07-29 v2
摘要
弱监督时序动作定位（WS-TAL）旨在仅利用视频级标签在未裁剪视频中定位动作。多数现有模型遵循“通过分类定位”流程：定位对视频级分类贡献最大的时间区域。通常它们逐个处理每个片段（或帧），从而忽视了丰富的时间上下文关系。由此产生单片段作弊问题：“困难”片段过于模糊而难以分类。本文中，我们认为通过比较学习有助于识别这些困难片段，并提出利用片段对比学习来定位动作，简称 CoLA。具体而言，我们提出片段对比（SniCo）损失以在特征空间中精炼困难片段表示，引导网络感知精确时间边界并避免时间间隔中断。此外，由于无法获取帧级标注，我们引入困难片段挖掘算法以定位潜在困难片段。大量分析验证该挖掘策略有效捕获困难片段，且 SniCo 损失带来更具信息量的特征表示。广泛实验表明 CoLA 在 THUMOS'14 与 ActivityNet v1.2 数据集上取得 SOTA 结果。CoLA 代码公开于 https://github.com/zhang-can/CoLA。
引用
@article{arxiv.2103.16392,
title = {CoLA: Weakly-Supervised Temporal Action Localization with Snippet Contrastive Learning},
author = {Can Zhang and Meng Cao and Dongming Yang and Jie Chen and Yuexian Zou},
journal= {arXiv preprint arXiv:2103.16392},
year = {2021}
}
备注
accepted by CVPR 2021, typos corrected, code link added