学习模拟复杂场景

像 Unity 这样的数据模拟引擎正成为越来越重要的数据源，使我们能够方便地获取真值标签。此外，我们可以在引擎中灵活编辑图像内容，例如物体（位置、方向）和环境（光照、遮挡）。当使用模拟数据作为训练集时，其可编辑内容可被用来模仿真实世界数据的分布，从而减小合成域与真实域之间的内容差异。本文在语义分割背景下探索内容适配，其中复杂的街景使用来自第一人称驾驶视角的 19 类虚拟对象完全合成，并由 23 个属性控制。为优化属性值并获得与真实世界数据内容相似的训练集，我们提出了一种可扩展的离散化与松弛（SDR）方法。在强化学习框架下，我们将属性优化表述为使用神经网络的随机到优化的映射问题。我们的方法有三个特点。1）我们关注对场景结构有重大影响（如物体密度和光照）的全局属性，而非编辑单个物体的属性。2）属性被量化为离散值，以减小搜索空间和训练复杂度。3）相关属性在组内联合优化，以避免无意义的场景结构并找到更好的收敛点。实验表明我们的系统能生成合理且有用的场景，与现有合成训练集相比，从中我们获得了有前景的真实世界分割精度。