通过对比建立关联：一种面向多模态生成模型的数据高效框架
机器学习
2021-04-22 v2 机器学习
摘要
面向生成模型的多模态学习通常指从视觉和语言等多种模态信息的共性中学习抽象概念。尽管该方法已被证明能有效学习可泛化的表示，但此类模型的训练往往需要大量共享共性的“相关”多模态数据，而获取这些数据的成本可能很高。为缓解这一问题，我们开发了一种新颖的生成模型学习对比框架，使我们不仅可以通过模态间的共性，还可以通过“相关”与“不相关”多模态数据之间的差异来训练模型。我们在实验中表明，对于各种多模态 VAE 模型，我们的方法能够在具有挑战性的数据集上实现数据高效的多模态学习。我们还表明，在我们提出的框架下，生成模型能够准确地将相关样本与不相关样本区分开来，从而使得利用大量未标记、未配对的多模态数据成为可能。
引用
@article{arxiv.2007.01179,
title = {Relating by Contrasting: A Data-efficient Framework for Multimodal Generative Models},
author = {Yuge Shi and Brooks Paige and Philip H. S. Torr and N. Siddharth},
journal= {arXiv preprint arXiv:2007.01179},
year = {2021}
}