多重性是多模态学习中不可避免且固有的挑战
机器学习
2025-05-27 v1 计算机视觉与模式识别
摘要
多模态学习取得了显著进展，特别是在跨各种模态的大规模预训练出现以来。然而，当前大多数方法都建立在模态之间存在确定性的一对一对齐假设之上。这过度简化了现实世界中的多模态关系，其本质固有地是多对多的。这种现象被称为多重性（multiplicity），它不是噪声或标注误差的副作用，而是多模态任务中语义抽象、表征不对称和任务依赖歧义的必然结果。本文论证多重性是一个基本瓶颈，贯穿多模态学习流程的所有阶段：从数据构建到训练和评估。本文探讨了多重性的成因与后果，并强调了多重性如何引入训练不确定性、不可靠的评估以及低数据集质量。本文呼吁多模态学习的新研究方向：考虑多重性的新型多重性感知学习框架和数据集构建协议。
引用
@article{arxiv.2505.19614,
title = {Multiplicity is an Inevitable and Inherent Challenge in Multimodal Learning},
author = {Sanghyuk Chun},
journal= {arXiv preprint arXiv:2505.19614},
year = {2025}
}