用于自监督学习的跨像素光流相似性
计算机视觉与模式识别
2018-07-17 v1 机器学习
神经与进化计算
摘要
我们提出一种无需人工监督即可学习卷积神经图像表示的新方法。我们利用光流形式下的运动线索来监督静态图像的表示。从单幅图像预测光流的直观方法由于该预测任务固有的歧义性而可能不必要地困难。我们转而提出一个简单得多的学习目标：嵌入像素，使其嵌入之间的相似性与它们的光流向量之间的相似性相匹配。在测试时，所学的深度网络可在无视频或光流信息的情况下使用，并迁移至图像分类、检测与分割等任务。我们的方法显著简化了以往利用运动进行自监督的尝试，在使用运动线索的自监督中取得了最先进的结果，在一般自监督中具有竞争力，并且如标准基准所证明的，在语义图像分割的自监督预训练方面总体处于最先进水平。
引用
@article{arxiv.1807.05636,
title = {Cross Pixel Optical Flow Similarity for Self-Supervised Learning},
author = {Aravindh Mahendran and James Thewlis and Andrea Vedaldi},
journal= {arXiv preprint arXiv:1807.05636},
year = {2018}
}