面向可解释、安全的自动驾驶：利用语言嵌入进行新颖性识别与主动学习的框架及真实数据集实验分析
计算机视觉与模式识别
2024-02-13 v1 人工智能
机器学习
摘要
本研究探索了在自动驾驶数据集中集成语言嵌入以进行主动学习，重点关注新颖性检测。新颖性源于自动驾驶车辆难以应对的意外场景，需要更高层次的推理能力。我们提出的方法采用基于语言的表示来识别新颖场景，强调安全接管响应和主动学习的双重目的。本研究展示了一个使用对比语言-图像预训练（CLIP）嵌入来组织数据集并检测新颖性的聚类实验。我们发现，所提出的算法能有效地从两个真实世界驾驶数据集（一个车载，一个路侧基础设施安装）衍生的子集集合中分离出新颖场景。基于生成的聚类，我们进一步提出了生成文本解释的方法，用以说明被归类为新颖的场景与数据池中其他场景的区别元素，并展示了聚类结果的定性示例。我们的结果证明了语言驱动嵌入在识别新颖元素和生成数据解释方面的有效性，并进一步讨论了其在安全接管、数据管理和多任务主动学习中的潜在应用。
引用
@article{arxiv.2402.07320,
title = {Towards Explainable, Safe Autonomous Driving with Language Embeddings for Novelty Identification and Active Learning: Framework and Experimental Analysis with Real-World Data Sets},
author = {Ross Greer and Mohan Trivedi},
journal= {arXiv preprint arXiv:2402.07320},
year = {2024}
}