多模态融合精炼网络

依赖多模态信息的任务通常包含一个融合模块以结合来自不同模态的信息。在本工作中，我们提出一种精炼融合网络（ReFNet），使融合模块能够将强单模态表示与强多模态表示相结合。ReFNet 将融合网络与一个解码/解融模块结合，该模块施加以模态为中心的职责条件。此方法通过确保单模态与融合表示在潜在融合空间中均被强编码，弥补了现有多模态融合框架中的一大空白。我们证明精炼融合网络能够提升诸如多模态 Transformer 等强大基线融合模块的性能。精炼网络能够在潜在空间中诱导融合嵌入的图表示，我们在一定条件下证明了这一点，并得到了数值实验中强经验结果的支持。这些图结构通过将 ReFNet 与 Multi-Similarity 对比损失函数结合而进一步增强。精炼融合网络的模块化特性使其易于与不同融合架构结合，此外，精炼步骤可应用于未标记数据集上的预训练，从而利用无监督数据提升性能。我们在三个数据集上展示了精炼融合网络的威力，并进一步表明它们仅使用少量标记数据即可保持性能。