MMBind：释放物联网中分布式与异构数据在多模态学习中的潜力
机器学习
2025-03-06 v2
摘要
多模态感知系统在各种现实应用中日益普及。现有的多数多模态学习方法严重依赖于大量同步且完整的多模态数据进行训练。然而，在现实世界的物联网感知应用中，这种设定是不切实际的，因为数据通常由具有异构数据模态的分布式节点收集，且很少带有标注。在本文中，我们提出了 MMBind，一种用于在分布式和异构物联网数据上进行多模态学习的新型数据绑定方法。MMBind 的核心思想是通过一个具有足够描述性的共享模态，将来自不同来源和不完整模态的数据进行绑定，从而为模型训练构建一个伪配对多模态数据集。我们还提出了一种加权对比学习方法来处理不同数据之间的域偏移，并结合一种能够利用异构模态组合训练模型的自适应多模态学习架构。在十个真实世界多模态数据集上的评估表明，MMBind 在不同程度的数据不完整性和域偏移下均优于 SOTA 基线，并为推进物联网应用中的多模态基础模型训练展现出良好前景\footnote（源代码可通过 https://github.com/nesl/multimodal-bind 获取）。
引用
@article{arxiv.2411.12126,
title = {MMBind: Unleashing the Potential of Distributed and Heterogeneous Data for Multimodal Learning in IoT},
author = {Xiaomin Ouyang and Jason Wu and Tomoyoshi Kimura and Yihan Lin and Gunjan Verma and Tarek Abdelzaher and Mani Srivastava},
journal= {arXiv preprint arXiv:2411.12126},
year = {2025}
}