Play and Learn: 利用电子游戏训练计算机视觉模型
计算机视觉与模式识别
2016-08-16 v2
摘要
电子游戏是一个引人注目的标注数据源，因为它们可以轻松地为各种任务提供细粒度的真实标签。然而，目前尚不清楚合成生成的数据是否与真实世界图像具有足够的相似度，从而在实践中提升计算机视觉模型的性能。我们提出了一些实验，用于评估在从电子游戏中提取的合成 RGB 图像上训练的系统在真实世界数据上的有效性。我们从一款现代电子游戏中收集了超过 60000 个合成样本，其条件与真实世界的 CamVid 和 Cityscapes 数据集相似。我们提供了多项实验来证明，合成生成的 RGB 图像可用于提升深度神经网络在图像分割和深度估计上的性能。这些结果表明，在合成数据上训练的卷积网络在密集图像分类上能达到与在真实世界数据上训练的网络相似的测试误差。此外，如果应用简单的领域自适应技术，与真实世界数据集相比，合成生成的 RGB 图像可以提供相似或更好的结果。我们的研究表明，与游戏开发者合作以获取可访问的数据收集界面，可能是计算机视觉未来研究的一个富有成效的方向。
引用
@article{arxiv.1608.01745,
title = {Play and Learn: Using Video Games to Train Computer Vision Models},
author = {Alireza Shafaei and James J. Little and Mark Schmidt},
journal= {arXiv preprint arXiv:1608.01745},
year = {2016}
}
备注
To appear in the British Machine Vision Conference (BMVC), September 2016. -v2: fixed a typo in the references