多模态负学习

多模态学习系统常面临模态不平衡的挑战，其中主导模态可能压制其他模态，从而阻碍弱模态的学习。传统方法通常强制弱模态在“学习成为（相同）”（正学习）中与主导模态对齐，这有风险抑制弱模态固有的独特信息。为应对这一挑战，我们提出了一种新的学习范式：“学习不成为”（负学习）。主导模态并非增强弱模态的目标类别预测，而是动态引导弱模态抑制非目标类别。这稳定了决策空间并保留了模态特定信息，使得弱模态能够保持独特信息而不过度对齐。我们进而从鲁棒性角度揭示多模态学习，并从理论上推导出多模态负学习（MNL）框架，该框架引入了一种专为负学习设计的动态引导机制。我们的方法通过增加单模态置信度边际（UCoM）可证明地收紧多模态学习的鲁棒性下界，并降低弱模态的经验误差，特别是在噪声和不平衡场景下。跨多个基准的大量实验证明了我们方法相对于竞争方法的有效性和泛化性。代码将在 https://github.com/BaoquanGong/Multimodal-Negative-Learning.git 提供。