PDMP: 通过性能主导模态优先策略重新思考平衡多模态学习
计算机视觉与模式识别
2026-04-08 v1
摘要
多模态学习因其可实用性而受到越来越多的关注。然而，它往往遭受优化不足的问题，即多模态模型的表现甚至不如其单模态对应模型。现有方法将这一问题归因于模态之间的不平衡学习，并通过梯度调制来解决。本文认为平衡学习并非多模态学习的最优设置。相反，由具有优越单模态性能的性能主导模态驱动的不平衡学习可以有助于更好的多模态性能。而优化不足的问题是由性能主导模态学习不足引起的。为此，我们提出了性能主导模态优先(Performance-Dominant Modality Prioritization, PDMP)策略来辅助多模态学习。具体而言，PDMP首先通过独立训练的单模态模型的性能排名来挖掘性能主导模态。然后PDMP引入非对称系数来调节各模态的梯度，使性能主导模态在优化中占据主导地位。由于PDMP仅依赖于单模态性能排名，它独立于多模态模型的结构和融合方法，在实际场景中具有巨大潜力。最后，在各种数据集上的广泛实验验证了PDMP的优越性。
引用
@article{arxiv.2604.05773,
title = {PDMP: Rethinking Balanced Multimodal Learning via Performance-Dominant Modality Prioritization},
author = {Shicai Wei and Chunbo Luo and Qiang Zhu and Yang Luo},
journal= {arXiv preprint arXiv:2604.05773},
year = {2026}
}