DRAMA：驾驶中风险定位与描述的联合任务
计算机视觉与模式识别
2022-10-07 v2 人工智能
机器学习
机器人学
摘要
考虑到安全关键自动化系统中态势感知的功能，驾驶场景中风险的感知及其可解释性对于自动驾驶与协同驾驶尤为重要。为此，本文提出了驾驶场景风险联合定位及其以自然语言描述的风险解释这一新研究方向。由于缺乏标准基准，我们收集了一个大规模数据集 DRAMA（带描述模块的驾驶风险评估机制），其包含在日本东京收集的 17,785 个交互式驾驶场景。我们的 DRAMA 数据集容纳了关于驾驶风险的视频级和物体级问题，并附有相关重要物体，以利用封闭式与开放式回答对多层次问题实现作为自由形式语言描述的视觉描述，可用于评估驾驶场景中一系列视觉描述能力。我们将该数据向社区公开以供进一步研究。利用 DRAMA，我们探索了交互式驾驶场景中风险联合定位与描述的多方面内容。特别地，我们对多种多任务预测架构进行了基准测试，并提供了关于联合风险定位与风险描述的详细分析。数据集可在 https://usa.honda-ri.com/drama 获取。
引用
@article{arxiv.2209.10767,
title = {DRAMA: Joint Risk Localization and Captioning in Driving},
author = {Srikanth Malla and Chiho Choi and Isht Dwivedi and Joon Hee Choi and Jiachen Li},
journal= {arXiv preprint arXiv:2209.10767},
year = {2022}
}
备注
WACV 2023 (Winter Conference on Applications of Computer Vision)