CyIN：用于桥接完整与不完整多模态学习的循环信息潜在空间

模态机器学习已迎来快速发展，旨在模拟人脑整合多种模态信息的能力。大多数先前的多模态模型都在完美配对的多模态输入下进行训练，以获得最佳性能。然而，在实际部署中，模态的存在高度可变且不可预测，导致预训练模型在面对动态缺失模态情形时性能显著下降且难以保持鲁棒性。本文提出一种新型循环信息学习框架（CyIN），以弥合完整与不完整多模态学习之间的差距。具体而言，我们首先通过在各种模态之间循环采用基于信息瓶颈（IB）的标记级和令牌级方法来构建信息丰富的潜在空间。通过变分近似捕获任务相关特征，信息瓶颈潜在特征被净化，以实现更高效的跨模态交互和多模态融合。此外，为补充因不完整多模态输入导致的缺失信息，我们提出通过前向和逆向传播过程实现跨模态循环翻译，以重建被剩余模态所缺失的模态。凭借提取和重建的信息丰富潜在特征，CyIN 成功地在统一的模型中联合优化了完整和不完整多模态学习。大量实验表明，在4个多模态数据集上，CyIN 在完整及多样化不完整情形下的性能均优于现有方法。