面向模态不完整场景分割的傅里叶提示微调
计算机视觉与模式识别
2024-04-12 v2 机器人学
图像与视频处理
摘要
整合来自多种模态的信息增强了自动驾驶车辆场景感知系统的鲁棒性，提供了一个更全面、更可靠的感知框架。然而，多模态分割中的模态不完整性仍未得到充分探索。在这项工作中，我们建立了一个名为模态不完整场景分割（MISS）的任务，它涵盖了系统级模态缺失和传感器级模态错误。为了避免多模态融合中占主导地位的模态依赖，我们引入了一种缺失感知模态切换（MMS）策略，以在训练期间主动管理缺失模态。利用比特级批次采样增强了模型在完整和不完整测试场景中的性能。此外，我们引入了傅里叶提示微调（FPT）方法，将代表性的频谱信息整合到有限数量的可学习提示中，这些提示对所有 MISS 场景都保持鲁棒性。类似于微调效果，但可调参数更少（1.1%）。大量实验证明了我们提出的方法的有效性，在模态缺失情况下，相比先前最先进的参数高效方法，mIoU 提升了 5.84%。源代码可在 https://github.com/RuipingL/MISS 公开获取。
引用
@article{arxiv.2401.16923,
title = {Fourier Prompt Tuning for Modality-Incomplete Scene Segmentation},
author = {Ruiping Liu and Jiaming Zhang and Kunyu Peng and Yufan Chen and Ke Cao and Junwei Zheng and M. Saquib Sarfraz and Kailun Yang and Rainer Stiefelhagen},
journal= {arXiv preprint arXiv:2401.16923},
year = {2024}
}
备注
Accepted to IEEE IV 2024. The source code is publicly available at https://github.com/RuipingL/MISS