面向不平衡多模态学习的动态课程 DynCIM
计算机视觉与模式识别
2025-10-29 v3
摘要
多模态学习整合来自多种模态的互补信息，以增强决策过程。然而，由于数据质量差异和模态表示能力差异，多模态协作潜力仍未被充分利用。为此，我们引入 DynCIM，一个 novel 动态课程学习框架，旨在量化从样本和模态两个角度所揭示的内在不平衡。DynCIM 采用样本级课程动态评估每个样本的难度程度，依据预测偏差、一致性和稳定性；同时，模态级课程从全局和局部衡量模态贡献。此外，引入一种基于门控的动态融合机制，以适应性方式调整模态贡献，最小化冗余并优化融合效果。在覆盖双模态和三模态情形的六个多模态基准数据集上进行的大量实验表明，DynCIM 持续优于当前最先进的方法。我们的 approach 有效缓解了模态和样本的不平衡，同时增强了多模态学习任务的适应性和鲁棒性。我们的代码已公开于 https://github.com/Raymond-Qiancx/DynCIM。
引用
@article{arxiv.2503.06456,
title = {DynCIM: Dynamic Curriculum for Imbalanced Multimodal Learning},
author = {Chengxuan Qian and Kai Han and Jiaxin Liu and Zhenlong Yuan and Zhengzhong Zhu and Jingchao Wang and Chongwen Lyu and Jun Chen and Zhe Liu},
journal= {arXiv preprint arXiv:2503.06456},
year = {2025}
}