虚拟世界作为多目标跟踪分析的代理
计算机视觉与模式识别
2016-05-23 v1 机器学习
神经与进化计算
机器学习
摘要
现代计算机视觉算法通常需要昂贵的数据采集和精确的人工标注。在这项工作中，我们利用计算机图形学的最新进展来生成完全标注、动态且照片真实的代理虚拟世界。我们提出了一种高效的实到虚世界克隆方法，并通过构建并公开发布一个名为 Virtual KITTI 的新视频数据集（见 http://www.xrce.xerox.com/Research-Development/Computer-Vision/Proxy-Virtual-Worlds）来验证我们的方法，该数据集自动标注了用于目标检测、跟踪、场景与实例分割、深度和光流的精确真值。我们提供的定量实验证据表明：(i) 在真实数据上预训练的现代深度学习算法在真实与虚拟世界中表现相似；(ii) 在虚拟数据上预训练可提升性能。由于真实与虚拟世界之间的差距很小，虚拟世界能够在其他条件相同的情况下衡量各种天气和成像条件对识别性能的影响。我们展示这些因素可能极大地影响原本高性能的深度跟踪模型。
引用
@article{arxiv.1605.06457,
title = {Virtual Worlds as Proxy for Multi-Object Tracking Analysis},
author = {Adrien Gaidon and Qiao Wang and Yohann Cabon and Eleonora Vig},
journal= {arXiv preprint arXiv:1605.06457},
year = {2016}
}
备注
CVPR 2016, Virtual KITTI dataset download at http://www.xrce.xerox.com/Research-Development/Computer-Vision/Proxy-Virtual-Worlds