用于自动驾驶中角落情况检测的多模态增强目标性学习器
计算机视觉与模式识别
2024-10-01 v2 人工智能
摘要
以往的目标检测工作在闭集场景中取得了高精度，但它们在开放世界场景中的表现并不令人满意。自动驾驶中角落情况检测是开放世界中具有挑战性的问题之一。现有的检测器在处理这些情况时面临困难，严重依赖视觉外观且泛化能力差。在本文中，我们通过减少已知类与未知类之间的差异提出了一种解决方案，并引入了多模态增强的目标性概念学习器。利用以视觉为中心和图文模态，我们的半监督学习框架将目标性知识传授给学生模型，从而实现类感知检测。我们的方法，即用于角落情况检测的多模态增强目标性学习器 (MENOL)，以更低的训练成本显著提高了新类的召回率。仅使用 5100 张标注训练图像，MENOL 在 CODA-val 数据集上实现了 76.6% 的 mAR-corner 和 79.8% 的 mAR-agnostic，分别比基线 ORE 高出 71.3% 和 60.6%。代码将在 https://github.com/tryhiseyyysum/MENOL 提供。
引用
@article{arxiv.2402.02026,
title = {Multimodal-Enhanced Objectness Learner for Corner Case Detection in Autonomous Driving},
author = {Lixing Xiao and Ruixiao Shi and Xiaoyang Tang and Yi Zhou},
journal= {arXiv preprint arXiv:2402.02026},
year = {2024}
}
备注
Accepted to 2024 IEEE International Conference on Image Processing (ICIP) as oral presentation