BalanceBenchmark：多模态不平衡学习综述
机器学习
2025-06-16 v4 人工智能
摘要
多模态学习因其整合来自不同模态信息的能力而备受关注。然而，它经常受到多模态不平衡问题的阻碍，即某些模态占主导地位而其他模态未被充分利用。尽管近期研究提出了各种方法来缓解这一问题，但它们缺乏全面且公平的比较。在本文中，我们根据各种主流多模态不平衡算法为缓解不平衡所采用的策略，将其系统地划分为四组。为了促进对这些方法的全面评估，我们引入了 BalanceBenchmark，这是一个包含多个广泛使用的多维数据集以及从性能、不平衡度和复杂度三个视角进行评估的指标的基准。为了确保公平比较，我们开发了一个模块化且可扩展的工具包，标准化了不同方法的实验工作流。基于使用 BalanceBenchmark 进行的实验，我们针对不同方法组在性能、平衡度和计算复杂度方面的特点与优势得出了若干关键见解。我们期望此类分析能启发未来更高效的方法以解决不平衡问题，并启发基础模型的研究。该工具包的代码可在 https://github.com/GeWu-Lab/BalanceBenchmark 获取。
引用
@article{arxiv.2502.10816,
title = {BalanceBenchmark: A Survey for Multimodal Imbalance Learning},
author = {Shaoxuan Xu and Menglu Cui and Chengxiang Huang and Hongfa Wang and Di Hu},
journal= {arXiv preprint arXiv:2502.10816},
year = {2025}
}
备注
9 pages, 3 figures