Rank2Tell：用于重要性排序与推理联合学习的多模态驾驶数据集
计算机视觉与模式识别
2023-11-09 v2 人工智能
机器学习
机器人学
摘要
商用自动驾驶汽车（AVs）与高级驾驶辅助系统（ADAS）的广泛采用，可能在很大程度上取决于社会对其的接受程度，而乘客对其可信度与可解释性的感知至关重要。总体而言，该任务具有挑战性，因为现代自动驾驶系统软件严重依赖黑盒人工智能模型。为此，本文引入了一个新颖的数据集 Rank2Tell，这是一个以自我为中心的多模态数据集，用于对重要性级别进行排序（Ranking）并说明重要性原因（Telling）。通过多种封闭与开放式视觉问答，该数据集对复杂交通场景中各类重要物体的语义、空间、时间以及关系属性提供了密集标注。数据集的密集标注与独特属性使其成为从事视觉场景理解及相关领域研究人员的宝贵资源。此外，我们提出了一种用于重要性级别排序与自然语言描述生成的联合模型，以对我们的数据集进行基准测试，并通过定量评估展示性能。
引用
@article{arxiv.2309.06597,
title = {Rank2Tell: A Multimodal Driving Dataset for Joint Importance Ranking and Reasoning},
author = {Enna Sachdeva and Nakul Agarwal and Suhas Chundi and Sean Roelofs and Jiachen Li and Mykel Kochenderfer and Chiho Choi and Behzad Dariush},
journal= {arXiv preprint arXiv:2309.06597},
year = {2023}
}