从时间的循环一致性中学习对应关係
计算机视觉与模式识别
2019-04-03 v2 人工智能
机器学习
摘要
我们引入一种从未标记视频中学习视觉对应关係的自监督方法。主要思想是使用时间上的循环一致性作为从零开始学习视觉表示的免费监督信号。在训练时，我们的模型学习一个特征图表示，以有益于执行循环一致跟踪。在测试时，我们使用获得的表示在空间和时间上寻找最近邻。我们展示了该表示无需微调即可在一系列视觉对应任务上的泛化能力，包括视频对象分割、关键点跟踪和光流。我们的方法优于先前的自监督方法，并与强监督方法具有竞争力。
引用
@article{arxiv.1903.07593,
title = {Learning Correspondence from the Cycle-Consistency of Time},
author = {Xiaolong Wang and Allan Jabri and Alexei A. Efros},
journal= {arXiv preprint arXiv:1903.07593},
year = {2019}
}
备注
CVPR 2019 Oral. Project page: http://ajabri.github.io/timecycle