基于GAN利用语义信息在天气条件间迁移的模块化车辆控制

尽管端到端监督学习在自动驾驶汽车的传感运动控制方面已展现出有前景的结果，但其性能受训练时天气条件的极大影响，对未见条件的泛化能力较差。在本文中，我们展示了如何利用语义地图将知识迁移到新的天气条件，而无需获取新的真值数据。为此，我们提议将车辆控制任务划分为两个独立模块：一个仅在具有标注转向数据的单一天气条件下训练的控制模块，以及一个用作新天气条件与固定控制模块之间接口的感知模块。为生成训练感知模块所需的语义数据，我们提议使用基于生成对抗网络（GAN）的模型以无监督方式检索新条件下的语义信息。我们引入了一种主从架构，其中主模型（语义标签可用）训练从模型（语义标签不可用）。我们表明，我们使用单一天气条件真值数据训练的方法，在转向角预测任务上能够达到与使用15种不同天气条件真值数据训练的端到端模型相似的结果。