驾驶仿真中的真实感：生成对抗图像合成与渲染的融合

驾驶仿真器在开发与测试新型智能车辆系统中发挥重要作用。仿真的视觉保真度对于构建基于视觉的算法和开展人类驾驶员实验至关重要。低视觉保真度会破坏人在环驾驶实验的沉浸感。传统计算机图形管线使用精细 3D 模型、网格、纹理与渲染引擎从 3D 场景生成 2D 图像。这些过程劳动密集，且无法生成照片级真实感图像。本文引入一种混合生成式神经图形管线以提升驾驶仿真的视觉保真度。给定 3D 场景，我们仅部分渲染车辆等重要感兴趣对象，并利用生成对抗过程合成背景及图像其余部分。为此，我们提出一种新颖的图像形成策略，由不含纹理的简单对象模型构成的 3D 景物形成 2D 语义图像。随后这些语义图像被在真实驾驶场景上训练的最先进生成对抗网络（GAN）转换为照片级真实感 RGB 图像。这以随机生成却照片级真实的表面替代了重复性。最后，部分渲染与 GAN 合成的图像通过混合 GAN 相融合。我们表明，所提方法生成图像的照片级真实感比传统方法更接近于 Cityscapes 与 KITTI 等真实世界驾驶数据集。该比较通过语义保持分析与 Frechet Inception Distance（FID）度量进行。