用于半监督学习的多模态变分自编码器：为专家乘积辩护
机器学习
2021-08-02 v2 人工智能
摘要
多模态生成模型应能够学习有意义的潜在表示，从而实现所有模态（如图像与文本）的连贯联合生成。许多应用还要求能够基于部分模态的观测准确采样其他模态。由于并非所有训练数据点都能观测到全部模态，因此应支持半监督学习。在本研究中，我们提出一种新颖的基于专家乘积 (PoE) 的变分自编码器，其具备上述期望性质。我们将其与专家混合 (MoE) 方法以及用额外编码器网络组合模态的方法进行基准对比。经验评估表明，基于 PoE 的模型可优于对比模型。我们的实验支持了如下直觉：PoE 模型更适用于模态的合取式组合。
引用
@article{arxiv.2101.07240,
title = {Multimodal Variational Autoencoders for Semi-Supervised Learning: In Defense of Product-of-Experts},
author = {Svetlana Kutuzova and Oswin Krause and Douglas McCloskey and Mads Nielsen and Christian Igel},
journal= {arXiv preprint arXiv:2101.07240},
year = {2021}
}