SeCo：探索序列监督用于无监督表示学习
计算机视觉与模式识别
2021-01-28 v2
摘要
稳健的创新与突破浪潮已令人信服地推进了无监督图像表示学习的极限。与静态 2D 图像相比，视频多一个维度（时间）。这种序列结构中固有的监督为构建无监督学习模型提供了肥沃土壤。在本文中，我们谱写了一部从空间、时空与序列视角探索序列中基本且通用监督的三部曲。我们通过判定一对样本是否来自同一帧或同一视频，以及一组三元样本是否具有正确时间顺序，来具象化监督信号。我们独特地将此类信号视为对比学习的基础，并推导出名为序列对比学习（SeCo）的特定形式。SeCo 在动作识别（Kinetics）、未剪辑活动识别（ActivityNet）与对象跟踪（OTB-100）的线性协议下展现出优越结果。更值得注意的是，SeCo 相对于近期无监督预训练技术表现出可观提升，并在 UCF101 与 HMDB51 的动作识别任务中分别以 2.96% 与 6.47% 的准确率领先于全监督 ImageNet 预训练。源代码可在 \url{https://github.com/YihengZhang-CV/SeCo-Sequence-Contrastive-Learning} 获取。
引用
@article{arxiv.2008.00975,
title = {SeCo: Exploring Sequence Supervision for Unsupervised Representation Learning},
author = {Ting Yao and Yiheng Zhang and Zhaofan Qiu and Yingwei Pan and Tao Mei},
journal= {arXiv preprint arXiv:2008.00975},
year = {2021}
}
备注
AAAI 2021; Code is publicly available at: https://github.com/YihengZhang-CV/SeCo-Sequence-Contrastive-Learning