低质量数据上的多模态融合:综合综述
机器学习
2024-11-04 v3 人工智能
摘要
多模态融合旨在整合来自多个模态的信息,以实现更准确的预测,在包括自动驾驶和医疗诊断在内的诸多场景中取得了显著进展。然而,在低质量数据环境下,多模态融合的可靠性仍然鲜有探讨。本文综述了野外多模态融合的常见挑战和最新进展,并以全面分类方式呈现。从数据导向视角,我们识别出低质量数据下的多模态融合面临的四个主要挑战,即(1)受异构噪声污染的噪声多模态数据,(2)某些模态缺失的不完整多模态数据,(3)不同模态质量或属性差异显著的不平衡多模态数据,以及(4)随样本不同而变化的质量可变多模态数据。这种新分类将帮助研究者理解该领域的现状并识别若干潜在方向。我们还讨论了该领域的开放问题及其有趣的未来研究方向。
引用
@article{arxiv.2404.18947,
title = {Multimodal Fusion on Low-quality Data: A Comprehensive Survey},
author = {Qingyang Zhang and Yake Wei and Zongbo Han and Huazhu Fu and Xi Peng and Cheng Deng and Qinghua Hu and Cai Xu and Jie Wen and Di Hu and Changqing Zhang},
journal= {arXiv preprint arXiv:2404.18947},
year = {2024}
}
备注
Feel free to comment on our manuscript: qingyangzhang@tju$.$edu$.$cn