面向自动驾驶车辆的人车建议 grounding
计算机视觉与模式识别
2019-11-19 v1
摘要
近期的成功表明，深度神经控制网络很可能成为自动驾驶车辆的关键组成部分。这些网络在大型数据集上训练以模仿人类行为，但缺乏对图像内容的语义理解。这使得它们在未匹配训练数据的情境中脆弱且潜在不安全。在此，我们提出通过用来自人类的自然语言建议扩充训练数据来解决该问题。建议包含关于做什么以及关注何处的指引。我们呈现了迈向建议给出的第一步，即训练一个接受建议的端到端车辆控制器。该控制器调整其关注场景的方式（视觉注意力）以及控制（转向与速度）。注意力机制将控制器行为关联到建议中显著物体。我们在一个带有手动标注的人车建议的新型可建议驾驶数据集（称为本田研究所-建议数据集（HAD））上评估我们的模型。我们表明采纳建议提升了端到端网络的性能，同时网络线索来自建议所提供的多种视觉特征。该数据集可在 https://usa.honda-ri.com/HAD 获取。
引用
@article{arxiv.1911.06978,
title = {Grounding Human-to-Vehicle Advice for Self-driving Vehicles},
author = {Jinkyu Kim and Teruhisa Misu and Yi-Ting Chen and Ashish Tawari and John Canny},
journal= {arXiv preprint arXiv:1911.06978},
year = {2019}
}
备注
IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2019