道路上的多模态异常分割
计算机视觉与模式识别
2025-03-25 v1 人工智能
摘要
语义分割允许自动驾驶汽车全面理解车辆周围的环境。然而，对于检测可能危及自动驾驶系统安全的障碍物也至关重要。基于我们的实验，我们发现当前的单模态异常分割框架倾向于对图像中的非异常区域产生高异常得分。受到这一经验发现的启发，我们开发了一个基于多模态不确定性的异常分割框架，命名为 MMRAS+，用于自动驾驶系统。MMRAS+ 通过引入文本模式（使用 CLIP 文本编码器）有效减少了非异常类别的高异常输出。事实上，MMRAS+ 是自动驾驶领域首个多模态异常分割解决方案。此外，我们开发了一个集成模块进一步提升异常分割性能。在 RoadAnomaly、SMIYC 和 Fishyscapes 验证数据集上的实验表明，我们的方法性能卓越。代码已公开于 https://github.com/HengGao12/MMRAS_plus。
引用
@article{arxiv.2503.17712,
title = {Multi-modality Anomaly Segmentation on the Road},
author = {Heng Gao and Zhuolin He and Shoumeng Qiu and Xiangyang Xue and Jian Pu},
journal= {arXiv preprint arXiv:2503.17712},
year = {2025}
}