融合还是混乱？多模态复杂性并非你所需要的一切
机器学习
2026-05-08 v3
摘要
多模态学习已成为一个重要的研究领域，通过结合跨模态信息具有获得显著性能提升的潜力。与此同时，在多模态特定方法能提升性能的假设驱动下，模型开发呈现出日益复杂的深度学习架构趋势。我们通过一项大规模实证研究挑战了这一假设：在九个多样化的数据集上重新实现了19种高影响力的多模态方法，涉及多达23种模态。在包括超参数调优、权重初始化、交叉验证和统计检验的标准化实验条件下，增加多模态复杂性往往导致数据模态的混乱而非有效融合。因此，复杂的多模态架构并不能可靠地超越单模态基线以及一种多模态学习简单基线（SimBaMM）。通过一项针对性的案例研究，我们进一步展示了即使是顶级多模态学习出版物也存在具体的方法学缺陷，凸显了标准化评估实践的必要性。总而言之，我们主张多模态学习的研究重点应发生转变：从追求架构新颖性转向方法学的严谨性。
引用
@article{arxiv.2512.22991,
title = {Fusion or Confusion? Multimodal Complexity Is Not All You Need},
author = {Tillmann Rheude and Roland Eils and Benjamin Wild},
journal= {arXiv preprint arXiv:2512.22991},
year = {2026}
}