我们以前遇到过吗？从驾驶场景中检索分布外道路障碍物

在开放且动态环境中运行的高度自动化系统的生命周期中，适应新出现挑战的能力至关重要。对于集成了数据驱动的基于AI组件的系统的系统，对部署问题的快速响应需要快速访问相关数据以进行测试和重新配置。在自动驾驶背景下，这尤其适用于未包含在训练数据中的道路障碍物，通常称为分布外（OoD）道路障碍物。鉴于存在大量未筛选的驾驶场景记录，一种务实的方法是从数据库中查询以检索因OoD道路障碍物而具有相同安全关切的类似场景。在这项工作中，我们超越在视频流中识别OoD道路障碍物，提供了一种利用文本查询提取OoD道路障碍物序列的综合方法，从而提出了一种用于后续分析的OoD数据收集方式。我们提出的方法利用了OoD分割和多模态基础模型的最新进展，从未标记视频中识别并高效提取安全相关场景。我们提出了针对基于文本的OoD物体检索这一新任务的首个方法，其回答了“我们以前遇到过吗？”这一问题。