时间信息能否助力对比自监督学习？
计算机视觉与模式识别
2020-11-30 v1
摘要
利用时间信息一直被视为开发视频理解模型的关键。然而，如何恰当地将时间信息纳入近期成功的基于实例判别的对比自监督学习（CSL）框架仍不清楚。作为一个直观方案，我们发现直接应用时间增强无济于事，甚至通常会损害视频 CSL。这一反直觉观察促使我们重新设计现有视频 CSL 框架，以更好地整合时间知识。为此，我们提出时间感知对比自监督学习 TaCo，作为一种增强视频 CSL 的通用范式。具体而言，TaCo 选择一组时间变换，不仅作为强数据增强，而且构成用于视频理解的额外自监督。通过联合对比具有丰富时间变换的实例并将这些变换作为自监督信号学习，TaCo 能显著增强无监督视频表征学习。例如，TaCo 在一系列主干网络和 CSL 方法的下游分类任务上展示了持续改进。我们的最佳模型在 UCF-101 和 HMDB-51 上分别达到 85.1% 和 51.6% 的 top-1 准确率，相对先前最优分别提升 3% 和 2.4%。
引用
@article{arxiv.2011.13046,
title = {Can Temporal Information Help with Contrastive Self-Supervised Learning?},
author = {Yutong Bai and Haoqi Fan and Ishan Misra and Ganesh Venkatesh and Yongyi Lu and Yuyin Zhou and Qihang Yu and Vikas Chandra and Alan Yuille},
journal= {arXiv preprint arXiv:2011.13046},
year = {2020}
}