MIDAS：面向不平衡多模态学习的基于失配的数据增强策略
机器学习
2025-10-01 v1
摘要
多模态模型通常过度依赖主导模态，无法实现最佳性能。虽然先前的工作侧重于修改训练目标或优化过程，但以数据为中心的解决方案仍未得到充分探索。我们提出了MIDAS，一种新颖的数据增强策略，该策略生成具有语义不一致跨模态信息的失配样本，并使用单模态置信度分数进行标记，以迫使模型从矛盾信号中学习。然而，这种基于置信度的标记仍可能偏向于更自信的模态。为了在我们的失配样本中解决这个问题，我们引入了弱模态加权，该加权动态增加最低置信度模态的损失权重，从而帮助模型充分利用较弱的模态。此外，当失配特征与对齐特征表现出更大的相似性时，这些失配样本构成了更大的挑战，从而使模型能够更好地区分不同类别。为了利用这一点，我们提出了硬样本加权，优先处理此类语义模糊的失配样本。在多个多模态分类基准上的实验表明，MIDAS在解决模态不平衡方面显著优于相关基线。
引用
@article{arxiv.2509.25831,
title = {MIDAS: Misalignment-based Data Augmentation Strategy for Imbalanced Multimodal Learning},
author = {Seong-Hyeon Hwang and Soyoung Choi and Steven Euijong Whang},
journal= {arXiv preprint arXiv:2509.25831},
year = {2025}
}
备注
Accepted to NeurIPS 2025