由分区引导的模态学习框架

多模态学习从多个模态信息中受益，每个学习到的模态表示可以分为可从单模态训练中学习的单模态特征，以及可从跨模态相互作用中学习的配对模态特征。基于此视角，我们提出了分区引导的模态学习框架（PgM），其包括模态分区器、单模态学习器、配对模态学习器和单-配对模态解码器。模态分区器将学习到的模态表示分割为单模态和配对模态特征。模态学习器包含两个专门的组件用于单模态和配对模态学习。单-配对模态解码器基于单模态和配对模态特征重建模态表示。PgM 提供了三个关键优势：1）对单模态和配对模态特征的彻底学习，2）灵活的单模态和配对模态表示分布调整以适应多样化的下游任务，3）跨模态和分区的不同学习率。广泛的实验表明 PgM 在四个多模态任务上的有效性，并进一步突显了其对现有模型的可迁移性。此外，我们对单模态和配对模态特征在不同模态和任务中的分布进行了可视化，为理解其各自贡献提供了见解。