增强恶劣天气条件下的自动驾驶分割：一种面向 SAM 优化的双重不确定性感知训练方法
计算机视觉与模式识别
2025-09-08 v1 人工智能
摘要
视觉基础模型的最新进展，例如 Segment Anything Model（SAM）及其后继者 SAM2，在通用图像分割基准上取得了 SOTA 的性能。然而，这些模型在视觉模糊度较高的恶劣天气条件下表现不佳，这在很大程度上是由于它们缺乏不确定性量化。受医学成像领域进展的启发——在该领域中，不确定性感知训练提高了模糊情况下的可靠性——我们研究了两种增强自动驾驶分割鲁棒性的方法。首先，我们为 SAM2 引入了一种多步微调程序，将不确定性指标直接纳入损失函数中，从而改善了整体场景识别能力。其次，我们将最初为医学图像分割设计的不确定性感知适配器（UAT）适配到驾驶场景中。我们在 CamVid、BDD100K 和 GTA 驾驶数据集上对这两种方法进行了评估。实验表明，UAT-SAM 在极端天气下的表现优于标准 SAM，而采用不确定性感知损失的 SAM2 在各种驾驶场景中均取得了更好的性能。这些发现凸显了在充满挑战的环境中对安全至关重要的自动驾驶进行显式不确定性建模的价值。
引用
@article{arxiv.2509.04735,
title = {Enhancing Self-Driving Segmentation in Adverse Weather Conditions: A Dual Uncertainty-Aware Training Approach to SAM Optimization},
author = {Dharsan Ravindran and Kevin Wang and Zhuoyuan Cao and Saleh Abdelrahman and Jeffery Wu},
journal= {arXiv preprint arXiv:2509.04735},
year = {2025}
}