跨模态迁移中的模态知识对齐学习

跨模态迁移旨在利用大型预训练模型完成可能不属于预训练数据所属模态的任务。现有工作在扩展经典微调以适应跨模态情境方面取得了一定成功，但我们仍缺乏对模态差距对迁移影响的理解。在本工作中，conducted a series of experiments focusing on the source representation quality during transfer,揭示了更大的模态差距与更少的知识复用之间的联系，这意味着迁移效果不佳。我们随后将该差距形式化为使用条件分布 P(Y|X) 表示的模态之间的知识错位。在此问题的基础上，我们提出了模态知识对齐 (MoNA)，这是一种元学习方法，通过学习目标数据转换以在迁移前减少模态知识差异。实验表明，我们的方法在跨模态迁移中实现了对源模态知识的更好复用，从而在现有微调方法上取得了改进。