通过调制丢弃改进模仿学习中的视线训练

通过行为克隆（behavioral cloning）进行模仿学习是一种普遍方法，已在基于视觉的自动驾驶中取得一定成功。行为克隆的基本思想是让神经网络通过观察人类专家的行为来学习。通常，卷积神经网络通过模仿人类驾驶员的行为，从原始驾驶员视角图像中学习预测转向指令。然而，人类驾驶员还有其他线索可用，例如尚未被利用的视线行为。先前研究表明，人类初学者可从观察专家视线模式中受益。我们在此提出，深度神经网络同样可从中获益。我们提出一种称为视线调制丢弃（gaze-modulated dropout）的方法，将这种视线信息隐式地整合进深度驾驶网络，而非作为额外输入。我们的实验结果表明，视线调制丢弃增强了网络对未见场景的泛化能力。与均匀丢弃（uniform dropout）相比，转向指令的预测误差降低了23.5%。在模拟器中闭环运行，视线调制丢弃网络将违规之间的平均行驶距离提升了58.5%。与这些结果一致，视线调制丢弃网络表现出更低的模型不确定性。