生成模型中通过条件先验的判别式多模态学习
机器学习
2023-01-24 v3 机器学习
摘要
近来，带潜变量的深度生成模型已被用于从多模态数据中学习联合表示与生成过程。然而，这两种学习机制可能相互冲突，导致表示无法嵌入有关数据模态的信息。本研究考察这样一种现实场景：所有模态与类标签均可用于模型训练，但下游任务所需的某些模态与标签缺失。我们表明，在此场景下，变分下界限制了联合表示与缺失模态之间的互信息。为应对这些问题，我们引入一种新颖的条件多模态判别模型，其使用信息性先验分布并优化无似然目标函数，以最大化联合表示与缺失模态间的互信息。大量实验证明了我们所提模型的优势，实证结果显示，在下游分类、声学反演以及图像与标注生成等代表性问题中，我们的模型取得了最先进的（SOTA）结果。
引用
@article{arxiv.2110.04616,
title = {Discriminative Multimodal Learning via Conditional Priors in Generative Models},
author = {Rogelio A. Mancisidor and Michael Kampffmeyer and Kjersti Aas and Robert Jenssen},
journal= {arXiv preprint arXiv:2110.04616},
year = {2023}
}