AI Playground：基于虚幻引擎的深度学习数据消融工具
计算机视觉与模式识别
2020-07-14 v1 机器学习
摘要
机器学习需要数据，但获取和标注真实世界数据具有挑战性、成本高且耗时。更重要的是，采集后几乎不可能更改真实数据（例如改变房间光照），从而极难衡量数据的特定属性如何影响性能。本文提出 AI Playground（AIP），一个开源的、基于 Unreal Engine 的虚拟图像数据生成与标注工具。利用 AIP，在不同条件（如保真度、光照等）与不同真值（如深度或表面法向量值）下捕获同一图像十分简便。AIP 易于扩展，可带代码或不带代码使用。为验证所提工具，我们生成了八组其他条件相同但光照与保真度各异的数据集，随后训练深度神经网络预测（1）深度值、（2）表面法向量或（3）物体标签，并评估各网络的同数据集与跨数据集性能。除其他见解外，我们验证了对不同设置的敏感性依赖于具体问题。我们确认了其他研究关于分割模型对保真度非常敏感的结论，但也发现其对光照同样敏感。相比之下，深度与法向量估计模型似乎对保真度或光照较不敏感，而对图像结构更敏感。最后，我们在两个真实世界数据集上测试了训练的深度估计网络，获得与仅用真实数据训练相当的结果，证实我们的虚拟环境对真实任务足够逼真。
引用
@article{arxiv.2007.06153,
title = {AI Playground: Unreal Engine-based Data Ablation Tool for Deep Learning},
author = {Mehdi Mousavi and Aashis Khanal and Rolando Estrada},
journal= {arXiv preprint arXiv:2007.06153},
year = {2020}
}
备注
14 pages, 7 figures