未修剪视频中无标签背景的裨益
计算机视觉与模式识别
2021-04-01 v2
摘要
弱监督时序动作定位（WTAL）旨在仅利用训练中的视频级动作标签来检测动作片段。关键挑战在于如何将有意义的动作片段与背景区分开，而背景即使在视频级也是无标签的。先前工作将背景视为“诅咒”，我们则将其视为“裨益”。具体而言，我们首先使用因果分析指出常见的定位误差源于视觉识别中普遍存在的未观测混杂因子。然后，我们提出一种基于时间平滑PCA（TS-PCA）的去混杂因子方法，其利用无标签背景为未观测混杂因子建模一个已观测替代变量，以消除混杂效应。需注意，所提去混杂因子具有模型无关性与非侵入性，因此可应用于任何WTAL方法而无需重新设计模型。通过在四种最先进WTAL方法上的大量实验，我们表明该去混杂因子在公开数据集THUMOS-14和ActivityNet-1.3上均能改进它们。
引用
@article{arxiv.2103.13183,
title = {The Blessings of Unlabeled Background in Untrimmed Videos},
author = {Yuan Liu and Jingyuan Chen and Zhenfang Chen and Bing Deng and Jianqiang Huang and Hanwang Zhang},
journal= {arXiv preprint arXiv:2103.13183},
year = {2021}
}
备注
Accepted by CVPR2021