游戏获取数据：来自计算机游戏的真值
计算机视觉与模式识别
2016-08-09 v1
摘要
计算机视觉的近期进展由在大型数据集上训练的高容量模型所驱动。不幸的是，由于所需人力巨大，创建具有像素级标签的大型数据集成本极高。本文中，我们提出一种方法，用于从现代计算机游戏提取的图像快速创建像素精确的语义标签图。尽管商业游戏的源代码和内部操作不可访问，我们展示了图像块之间的关联可以从游戏与图形硬件之间的通信中重建。这使得游戏合成的图像内部及跨图像的语义标签能够快速传播，而无需访问源代码或内容。我们通过为一个照片级真实感开放世界计算机游戏合成的2.5万张图像生成密集像素级语义标注，验证了所提方法。在语义分割数据集上的实验表明，使用获取的数据补充真实世界图像可显著提高精度，并且所获取的数据能够减少手工标注真实世界数据的数量：用游戏数据和仅1/3的CamVid训练集训练的模型优于用完整CamVid训练集训练的模型。
引用
@article{arxiv.1608.02192,
title = {Playing for Data: Ground Truth from Computer Games},
author = {Stephan R. Richter and Vibhav Vineet and Stefan Roth and Vladlen Koltun},
journal= {arXiv preprint arXiv:1608.02192},
year = {2016}
}
备注
Accepted to the 14th European Conference on Computer Vision (ECCV 2016)