鸟瞰视角检测中语义鲁棒性的黑盒评估框架
计算机视觉与模式识别
2025-02-05 v3
摘要
基于相机的鸟瞰视角(BEV)感知模型因其在自动驾驶中的关键作用而受到越来越多的关注，而自动驾驶领域对深度学习的鲁棒性和可靠性提出了担忧。尽管只有少数工作研究了随机生成的语义扰动(即自然损坏)对多视图BEV检测任务的影响，但我们开发了一个黑盒鲁棒性评估框架，该框架对抗性地优化三种常见的语义扰动：几何变换、颜色偏移和运动模糊，以欺骗BEV模型，这是该新兴领域的首次尝试。为了解决优化语义扰动带来的挑战，我们设计了一个平滑的、基于距离的替代函数来替代mAP指标，并引入了SimpleDIRECT，一种利用观测斜率指导优化过程的确定性优化算法。通过与随机扰动和两种优化基线的比较，我们证明了所提出框架的有效性。此外，我们提供了十个最新BEV模型语义鲁棒性的基准。结果表明，强调多视图图像几何信息的PolarFormer表现出最高的鲁棒性，而BEVDet则完全被攻破，其精度降至零。
引用
@article{arxiv.2412.13913,
title = {A Black-Box Evaluation Framework for Semantic Robustness in Bird's Eye View Detection},
author = {Fu Wang and Yanghao Zhang and Xiangyu Yin and Guangliang Cheng and Zeyu Fu and Xiaowei Huang and Wenjie Ruan},
journal= {arXiv preprint arXiv:2412.13913},
year = {2025}
}