无向动态交互视角下的平衡多模态学习
机器学习
2025-09-08 v3 多媒体
摘要
多模态学习通常利用多模态联合损失整合不同模态以提升模型性能。然而，这种联合学习策略会导致模态不平衡，强模态压倒弱模态，限制了对每个模态及其相互作用信息的个体信息的利用。现有方法如动态损失加权、辅助目标和梯度调制等，均基于联合损失来缓解模态不平衡。这些方法本质上仍是反应性的，即在不平衡发生后检测并纠正，同时未能触及联合损失的竞争性本质。这一局限促使我们探寻一种不依赖联合损失的多模态不平衡学习策略，以实现更有效的模态间交互和更好地利用来自各个模态及其相互作用的信息。在本文中，我们引入单向动态交互（UDI），一种新颖的策略，抛弃传统的联合损失，采用主动的序列化训练方案。UDI 首先训练锚模态以收敛，然后利用其学习到的表征通过无监督损失指导其他模态。此外，动态调整模态间的交互允许模型适应具体任务，确保每个模态都能作出最佳贡献。通过解耦模态优化并实现有向的信息流，UDI 防止任何单个模态的主导地位，并促进有效的跨模态特征学习。我们的实验结果表明，UDI 在处理模态不平衡方面优于现有方法，在多模态学习任务中实现了性能提升。
引用
@article{arxiv.2509.02281,
title = {Balanced Multimodal Learning: An Unidirectional Dynamic Interaction Perspective},
author = {Shijie Wang and Li Zhang and Xinyan Liang and Yuhua Qian and Shen Hu},
journal= {arXiv preprint arXiv:2509.02281},
year = {2025}
}