面向半监督时序动作提议的自监督学习
计算机视觉与模式识别
2021-04-08 v1
摘要
自监督学习在利用无标签数据完成各种视频任务方面表现出卓越性能。本文聚焦于应用自监督方法的力量来改进半监督动作提议生成。特别地，我们设计了一个有效的自监督半监督时序动作提议（SSTAP）框架。SSTAP 包含两个关键分支，即时序感知半监督分支和关系感知自监督分支。半监督分支通过在均值教师框架中引入两种时序扰动（即时序特征偏移和时序特征翻转）来改进提议模型。自监督分支定义了两个前置任务，包括掩码特征重建和片段顺序预测，以学习时序线索的关系。通过这种方式，SSTAP 能更好地挖掘无标签视频，并提升所学动作特征的判别能力。我们在 THUMOS14 和 ActivityNet v1.3 数据集上广泛评估了所提出的 SSTAP。实验结果表明，SSTAP 显著优于最先进的半监督方法，甚至可与全监督方法匹敌。代码见 https://github.com/wangxiang1230/SSTAP。
引用
@article{arxiv.2104.03214,
title = {Self-Supervised Learning for Semi-Supervised Temporal Action Proposal},
author = {Xiang Wang and Shiwei Zhang and Zhiwu Qing and Yuanjie Shao and Changxin Gao and Nong Sang},
journal= {arXiv preprint arXiv:2104.03214},
year = {2021}
}
备注
Accepted by CVPR-2021