PUG：面向表征学习的真实感且语义可控合成数据
计算机视觉与模式识别
2023-12-14 v2 机器学习
摘要
合成图像数据集在为深度神经网络设计与评估提供便利方面具有无可匹敌的优势：它们使得（i）可按需渲染任意多数据样本，（ii）精确控制每个场景并给出细粒度真值标签（及描述），（iii）精确控制训练与测试间的分布偏移以隔离感兴趣变量，从而进行严谨实验。尽管有此前景，合成图像数据的使用仍受限——且常被贬低——主要因其缺乏真实感。多数工作因而依赖真实图像数据集，这些数据集往往从互联网公开图像抓取，可能存在隐私、偏见与版权问题，同时对物体具体呈现方式控制甚少。本工作中，我们提出一条使真实感合成数据使用民主化的路径：我们开发了新一代用于表征学习研究的交互式环境，兼具可控性与真实感。我们利用娱乐行业知名的强有力游戏引擎 Unreal Engine，生成用于表征学习的 PUG（Photorealistic Unreal Graphics）环境与数据集。本文中，我们展示了 PUG 在实现更严谨视觉模型评估方面的潜力。
引用
@article{arxiv.2308.03977,
title = {PUG: Photorealistic and Semantically Controllable Synthetic Data for Representation Learning},
author = {Florian Bordes and Shashank Shekhar and Mark Ibrahim and Diane Bouchacourt and Pascal Vincent and Ari S. Morcos},
journal= {arXiv preprint arXiv:2308.03977},
year = {2023}
}