通过数据混编提升多模态学习的平衡性与充分性
机器学习
2025-06-17 v2 人工智能
摘要
不同模态在优化轨迹上存在显著差异，包括速度和路径，导致联合训练多模态模型时出现模态懒惰和模态冲突，结果为模态学习的充分性和平衡性不足。现有方法侧重通过添加模态特定优化目标来强制弱模态、对齐优化速度或分解模态学习以增强单模态学习。这些方法难以同时实现单模态充分性和模态平衡。本文首次提出多模态数据混编方案：通过解耦模态数据并为每个模态过滤硬样本来缓解模态不平衡；随后进行批级重组以对齐梯度方向，避免跨模态干扰，从而增强单模态学习的充足性。实验结果表明，该方法可无缝集成到现有方法中，在CREMAD上提升约6.50%，在Kinetic-Sounds上提升3.41%，且在推理期间无需扩充训练集或增加计算开销。
引用
@article{arxiv.2506.11550,
title = {Improving Multimodal Learning Balance and Sufficiency through Data Remixing},
author = {Xiaoyu Ma and Hao Chen and Yongjian Deng},
journal= {arXiv preprint arXiv:2506.11550},
year = {2025}
}
备注
ICML2025