传感器故障下多模态语义分割的基准测试：缺失与噪声模态鲁棒性
计算机视觉与模式识别
2025-04-11 v3
摘要
多模态语义分割（MMSS）通过整合不同模态间互补信息，解决了单模态数据局限性。尽管取得了显著进展，但由于多模态数据质量的可变性与不确定性，研究与实际部署之间仍存显著鸿沟。鲁棒性因此成为实际应用MMSS的关键需求。然而，缺乏用于评估鲁棒性的标准化基准测试，阻碍了该领域的进一步发展。为此，我们首先调查现有MMSS文献并对代表性方法进行分类，以提供系统概览。随后，我们引入一个鲁棒性基准测试，其评估场景包括：整个缺失模态（EMM）、随机缺失模态（RMM）以及噪声模态（NM）。从概率角度，我们在两种条件下建模模态故障：(1)所有受损组合均等可能；(2)每个模态独立按伯努利分布失败。基于此，我们提出四项指标-、、、-用于评估EMM和RMM情境下的模型鲁棒性。本工作提供了首个专注于MMSS鲁棒性的基准测试，为该领域提供新视角与工具。源码已公开于 https://github.com/Chenfei-Liao/Multi-Modal-Semantic-Segmentation-Robustness-Benchmark。
引用
@article{arxiv.2503.18445,
title = {Benchmarking Multi-modal Semantic Segmentation under Sensor Failures: Missing and Noisy Modality Robustness},
author = {Chenfei Liao and Kaiyu Lei and Xu Zheng and Junha Moon and Zhixiong Wang and Yixuan Wang and Danda Pani Paudel and Luc Van Gool and Xuming Hu},
journal= {arXiv preprint arXiv:2503.18445},
year = {2025}
}
备注
This paper has been accepted by the CVPR 2025 Workshop: TMM-OpenWorld as an oral presentation paper