确定性提升：通过不确定性估计增强多模态预训练中的缺失模态
机器学习
2025-04-21 v1
摘要
多模态学习通过整合多样化数据源展现了惊人的成功，但往往依赖于所有模态的可用性——这在现实应用中很少成立。预训练的多模态模型虽然有效，但在面对小规模和不完整数据集（即缺失模态）时会堵塞，其实际应用受限。先前关于重建缺失模态的研究忽视了重建可能不可靠的潜力，这可能会损害最终输出的质量。我们提出 SURE（Scalable Uncertainty and Reconstruction Estimation），一个新框架，通过引入潜在空间重建和不确定性估计来扩展预训练多模态模型的能力。该方法具有架构中立性，能够重建缺失模态并提供可靠的不确定性估计，从而提升解释性和性能。SURE 引入了独特的皮尔逊相关系数损失，并首次在深度网络中应用统计误差传播，实现了从缺失数据和模型预测中对不确定性的精确量化。广泛的实验包括情感分析、体裁分类和动作识别均表明，SURE 在各项任务中均实现了最前沿的性能，确保即使在数据不完整的情况下也能做出稳健的预测。
引用
@article{arxiv.2504.13465,
title = {Are you SURE? Enhancing Multimodal Pretraining with Missing Modalities through Uncertainty Estimation},
author = {Duy A. Nguyen and Quan Huu Do and Khoa D. Doan and Minh N. Do},
journal= {arXiv preprint arXiv:2504.13465},
year = {2025}
}