基于视觉的驾驶模型的离线评估
计算机视觉与模式识别
2018-09-14 v1
摘要
自动驾驶模型理想情况下应通过将其部署在真实世界中一支实体车辆车队上进行评估。遗憾的是,对于绝大多数研究者而言,这一做法并不现实。一个有吸引力的替代方案是在带有真值标注的预采集验证数据集上离线评估模型。本文中,我们研究了用于评估自动驾驶模型的各种在线与离线指标之间的关系。我们发现,离线预测误差与驾驶质量未必相关,且两个具有完全相同预测误差的模型其驾驶表现可能相差悬殊。我们表明,通过选取恰当的验证数据集与合适的离线指标,离线评估与驾驶质量的相关性可显著提升。补充视频见 https://www.youtube.com/watch?v=P8K8Z-iF0cY
引用
@article{arxiv.1809.04843,
title = {On Offline Evaluation of Vision-based Driving Models},
author = {Felipe Codevilla and Antonio M. López and Vladlen Koltun and Alexey Dosovitskiy},
journal= {arXiv preprint arXiv:1809.04843},
year = {2018}
}
备注
Published at the ECCV 2018 conference