UNO：面向未预期输入退化的不确定性感知Noisy-Or多模态融合
摘要
多种传感器模态的融合，尤其是通过深度学习架构实现的融合，一直是一个活跃的研究领域。然而，此类工作中一个未被充分探索的方面是，这些方法能否对其输入模态上的退化具有鲁棒性，特别是当它们必须泛化到训练期间未见的退化时。在这项工作中，我们提出了一种不确定性感知融合方案，以有效融合可能遭受一系列已知和未知退化的输入。具体而言，我们分析了若干不确定性度量，每一种都捕捉了不确定性的不同方面，并提出了一种通过缩放模态特定输出softmax概率来融合退化输入的新方法。此外，我们提出了一种新颖的数据依赖空间温度缩放方法，以补充这些现有的不确定性度量。最后，我们使用概率noisy-or融合方法整合来自每个模态的不确定性缩放输出。在照片级真实感仿真环境（AirSim）中，我们表明，在语义分割任务上，与最先进的融合架构相比，我们的方法在一系列退化（例如雾、雪、霜以及各种其他类型的噪声）上取得了显著更好的结果，其中部分退化在训练期间未知。我们尤其在各种退化上将最先进水平[1]的mean IoU提高了28%。[1] Abhinav Valada, Rohit Mohan, and Wolfram Burgard. Self-Supervised Model Adaptation for Multimodal Semantic Segmentation. In: arXiv e-prints, arXiv:1808.03833 (Aug. 2018), arXiv:1808.03833. arXiv: 1808.03833 [cs.CV].
引用
@article{arxiv.1911.05611,
title = {UNO: Uncertainty-aware Noisy-Or Multimodal Fusion for Unanticipated Input Degradation},
author = {Junjiao Tian and Wesley Cheung and Nathan Glaser and Yen-Cheng Liu and Zsolt Kira},
journal= {arXiv preprint arXiv:1911.05611},
year = {2020}
}
备注
IEEE International Conference on Robotics and Automation (ICRA), 2020. IROS Workshop on the Importance of Uncertainty in Deep Learning for Robotics, 2019