基于跨视频循环一致性的图像表征对比学习
计算机视觉与模式识别
2021-05-14 v1
摘要
近期的工作大幅推进了自监督表征学习的性能。这些方法的核心在于图像内不变性学习。同一图像实例的两种不同变换被视为一个正样本对，通过设计各种任务比较该样本对来学习不变表征。类比地，对于视频数据，来自同一视频的帧表征被训练得比来自其他视频的帧表征更相近，即视频内不变性。然而，跨视频关系在视觉表征学习中几乎未被探索。与视频内不变性不同，跨视频关系的真实标签通常无法在没有人工标注的情况下获得。本文提出一种新颖的对比学习方法，利用循环一致性探索跨视频关系以用于通用图像表征学习。这允许在不同视频实例间收集正样本对，我们假设这将带来更高层次的语义。我们通过将所学图像表征迁移到多个下游任务（包括视觉目标跟踪、图像分类和动作识别）来验证我们的方法。我们展示了相比最先进对比学习方法的显著提升。项目页面位于 https://happywu.github.io/cycle_contrast_video。
引用
@article{arxiv.2105.06463,
title = {Contrastive Learning of Image Representations with Cross-Video Cycle-Consistency},
author = {Haiping Wu and Xiaolong Wang},
journal= {arXiv preprint arXiv:2105.06463},
year = {2021}
}