人类视觉注意预测提升自动驾驶智能体的学习与性能

自动驾驶是一个需要对视觉环境深度理解的多任务问题。端到端自动驾驶系统作为一种无需为不同驾驶场景穷举编程行为的学习驾驶方法，已引起日益浓厚的兴趣。人类驾驶时依赖高度调谐的感官系统，使其能在过滤无关细节的同时快速获取所需信息。这种在图像中识别任务特定高关注区域的能力，可能对自动驾驶智能体及一般机器学习系统有所裨益。为构建能模仿人类注视模式与视觉注意的系统，我们在虚拟现实环境中采集人类驾驶员的眼动数据。我们利用该数据训练深度神经网络以预测驾驶时人类最可能注视的位置。随后我们使用该训练网络的输出，通过多种掩蔽技术对驾驶图像进行选择性掩蔽。最后，自动驾驶智能体以这些掩蔽图像作为输入进行训练。经比较，我们发现一种双分支架构——同时处理原始图像与注意掩蔽图像——大幅优于所有其他模型，相较仅以原始图像训练的标准端到端模型，将控制信号预测误差降低 25.5%。