解耦多模态 Transformer 中数据、注意力与损失的作用

近期多模态 transformer 模型日益流行，因其在语言和视觉任务上的表现表明它们学习了丰富的视觉-语言表征。聚焦于零样本图像检索任务，我们研究了三个可能影响所学表征质量的重要因素：预训练数据、注意力机制与损失函数。通过在六个数据集上预训练模型，我们观察到数据集噪声以及与下游任务的语言相似度是模型性能的重要指示因素。通过架构分析，我们发现具有多模态注意力机制的模型可以胜过具有模态特定注意力机制的更深模型。最后，我们展示自监督学习文献中成功的对比损失在多模态 transformer 中使用时并未带来类似的性能提升。