稀疏多模态数据融合

多模态数据融合对于需要整合不同数据源的应用至关重要，尤其是在模态不完整或稀疏的情况下。本文对三种多模态嵌入技术——模态通道注意力（MCA）、Zorro和Everything at Once（EAO）——进行了比较研究，以评估它们在稀疏多模态数据上的性能。MCA为所有输入模态组合引入融合嵌入，并使用注意力掩码创建不同的注意力通道，从而实现灵活高效的数据融合。在两个包含四种模态的数据集CMU-MOSEI和TCGA上的实验表明，MCA在排序、召回、回归和分类任务上优于Zorro，并在回归和分类任务上优于EAO。MCA通过保持单模态和融合嵌入的鲁棒均匀性实现了优越的性能。尽管EAO由于其在推理后形成融合嵌入的方法在排序指标上表现最佳，但在需要多模态交互的下游任务中表现不佳。这些结果强调了对比所有模态组合在构建嵌入空间中的重要性，并为处理不完整数据的现实应用中的多模态架构设计提供了见解。