通过标签空间重塑实现多模态学习的平衡
机器学习
2026-05-29 v1 人工智能
摘要
多模态学习常常因模态不平衡而受到影响，即收敛较快的模态主导优化，而其他模态则未得到充分训练。现有方法通常通过强化弱模态或调整优化梯度来缓解此问题。然而，这些策略主要补偿优化速度差异，往往以牺牲强模态的优化能力为代价，且未分析这些差异在模态层面如何产生。基于理论洞察和经验观察，我们认为学习速度差异源于模态特有特征空间与共享标签空间之间映射难度的差异。为解决此问题，我们提出Balanced Multimodal Label Reshaping (BMLR)，即首个从标签侧设计以促进多模态平衡的方法。BMLR通过重塑跨模态标签空间来均衡各模态的映射难度，从而促进模态间交互，并将更丰富的类间信息注入每个模态。广泛的实验在多个架构上均证明BMLR能够显著提升多模态性能，并显示出与多样模型设计的强大兼容性。源码将很快公开。
引用
@article{arxiv.2605.28869,
title = {Balancing Multimodal Learning through Label Space Reshaping},
author = {Xiaoyu Ma and Weijie Zhang and Yuanhao Gao and Han Miao and Yongjian Deng and Hao Chen},
journal= {arXiv preprint arXiv:2605.28869},
year = {2026}
}
备注
In process