基于生成对抗网络的深度图像环境重建

鲁棒的感知系统对自动驾驶车辆的安全至关重要。要在复杂的城市环境中导航，需要具有可靠数据的精确传感器。理解周边环境的任务本身就很困难；对于智能车辆而言，由于车辆行驶速度高，这一任务更为关键。为了在城市环境中成功导航，感知系统必须快速接收、处理并执行动作，以保障乘客和行人的安全。立体相机在多个层面收集环境信息，例如深度、颜色、纹理、形状，从而保证对周边环境的充分了解。即便如此，与人类相比，计算方法缺乏处理缺失信息（即遮挡）的能力。对于许多感知任务，这种数据缺失会因环境信息不完整而造成障碍。本文针对此问题展开讨论，回顾了处理遮挡区域推断的近期方法。随后，我们提出了一种聚焦于视差与环境深度数据重建的损失函数，以及一种能够处理遮挡信息推断的生成对抗网络（GAN）架构。我们的结果展示了对深度图的连贯重建，估计出被不同障碍物遮挡的区域。我们的最终贡献是一种聚焦于视差数据的损失函数，以及一种能够通过修复视差图像来提取深度特征并估计深度数据的GAN。