即插即用、即开即用、再强化：面向鲁棒多模态图像理解模型的低成本模块
计算机视觉与模式识别
2026-02-27 v1
摘要
缺失模态是多模态模型面临的根本性挑战，常导致性能灾难性下降。我们的观察表明，这种脆弱性源于不平衡的学习过程，即模型发展出对某些模态的隐式偏好，导致其他模态 under-optimization。我们提出一种简单而高效的方法来解决此问题。本文的核心洞见是，模态之间的优势关系可以在频域中有效辨识并量化。为此，我们首先引入频率比度指标 (FRM)，通过分析频域特征来量化模态偏好。围绕 FRM，我们提出多模态权重分配模块 (MWAM)，一个即插即用的组件，动态再平衡训练期间每个分支的贡献，促进更全面的学习范式。广泛的实验表明，MWAM 可无缝集成到各种网络架构中，如基于 CNN 和 ViT 的结构。此外，MWAM 在广泛的任务和模态组合上均能持续提升性能。这种进步不仅优化了基础模型的性能，也进一步提升了解决缺失模态问题的前沿方法的性能。
引用
@article{arxiv.2602.22644,
title = {Plug, Play, and Fortify: A Low-Cost Module for Robust Multimodal Image Understanding Models},
author = {Siqi Lu and Wanying Xu and Yongbin Zheng and Wenting Luan and Peng Sun and Jianhang Yao},
journal= {arXiv preprint arXiv:2602.22644},
year = {2026}
}