学习与自我运动相关的图像表示
计算机视觉与模式识别
2016-03-30 v2 人工智能
机器学习
摘要
理解物体与场景图像如何响应特定的自我运动（ego-motion）是视觉正常发展的关键方面，然而现有的视觉学习方法明显与其图像的物理来源脱节。我们提出利用本体感受运动信号，在卷积神经网络中提供无监督正则化，从而从以自我为中心的视频中学习视觉表示。具体而言，我们强制要求所学特征表现出等变性（equivariance），即它们对与不同自我运动相关的变换做出可预测的反应。通过三个数据集，我们表明我们的无监督特征学习方法在视觉识别和最佳下一视角预测任务上显著优于先前的方法。在最具挑战性的测试中，我们表明从自动驾驶平台捕获的视频中学到的特征改善了来自不相交领域的静态图像中的大规模场景识别。
引用
@article{arxiv.1505.02206,
title = {Learning image representations tied to ego-motion},
author = {Dinesh Jayaraman and Kristen Grauman},
journal= {arXiv preprint arXiv:1505.02206},
year = {2016}
}
备注
Supplementary material appended at end. In ICCV 2015