Robult：利用冗余和模态特定特征进行稳健多模态学习
机器学习
2025-09-26 v1 人工智能
计算机视觉与模式识别
摘要
解决缺失模态和有限标注数据对推进稳健多模态学习至关重要。我们提出了 Robult，一个可扩展框架，通过保持模态特定信息并利用新颖的信息论方法来利用冗余，从而缓解这些挑战。Robult 优化两个核心目标：（1）软正-未标记（PU）对比损失最大化任务相关特征对齐，同时有效利用半监督环境中的有限标注数据，以及（2）潜在重构损失确保独特的模态特定信息被保留。这些策略嵌入模块化设计中，提高了各种下游任务的性能，并确保在推理期间对不完整模态的鲁棒性。实验结果表明，Robult 在半监督学习和缺失模态情境中均优于现有方法。此外，其轻量级设计促进了可扩展性和与现有架构的无缝集成，使其适用于实际的多模态应用。
引用
@article{arxiv.2509.03477,
title = {Robult: Leveraging Redundancy and Modality Specific Features for Robust Multimodal Learning},
author = {Duy A. Nguyen and Abhi Kamboj and Minh N. Do},
journal= {arXiv preprint arXiv:2509.03477},
year = {2025}
}
备注
Accepted and presented at IJCAI 2025 in Montreal, Canada