MINERVAS：大规模室内环境虚拟合成系统
计算机视觉与模式识别
2022-08-31 v4
摘要
随着数据驱动技术的快速发展，数据在各种计算机视觉任务中发挥着至关重要的作用。许多真实与合成数据集被提出以解决不同问题。然而，仍存在大量未解决的挑战：（1）数据集的创建通常是带人工标注的繁琐过程；（2）大多数数据集仅针对单一特定任务设计；（3）3D 场景的修改或随机化十分困难；（4）商业 3D 数据的发布可能面临版权问题。本文提出 MINERVAS，一个大规模室内环境虚拟合成（Massive INterior EnviRonments VirtuAl Synthesis）系统，以 facilitat 不同视觉任务下的 3D 场景修改与 2D 图像合成。具体而言，我们设计了一个带有领域特定语言（Domain-Specific Language）的可编程流水线，允许用户（1）从商业室内场景数据库中选取场景，（2）按自定义规则合成面向不同任务的场景，（3）渲染各类图像数据，如视觉颜色、几何结构、语义标签。我们的系统减轻了为不同任务定制海量场景的难度，并通过提供具有用户可控随机性的多级采样器，使用户免于操纵细粒度场景配置。最重要的是，它使用户能够访问拥有数百万室内场景的商业场景数据库，并保护核心数据资产（如 3D CAD 模型）的版权。我们利用合成数据提升多种计算机视觉任务上的性能，由此展示了系统的有效性与灵活性。
引用
@article{arxiv.2107.06149,
title = {MINERVAS: Massive INterior EnviRonments VirtuAl Synthesis},
author = {Haocheng Ren and Hao Zhang and Jia Zheng and Jiaxiang Zheng and Rui Tang and Yuchi Huo and Hujun Bao and Rui Wang},
journal= {arXiv preprint arXiv:2107.06149},
year = {2022}
}
备注
Accepted by Computer Graphics Forum, Pacific Graphics 2022. The two first authors contribute equally. Project pape: https://coohom.github.io/MINERVAS