通过归一化流与相关性分析改进多模态联合变分自编码器
机器学习
2023-05-22 v1 机器学习
摘要
我们提出了一种新的多模态变分自编码器，能够从联合分布中生成数据，并可有条件地生成任意数量的复杂模态。单模态后验以深度典型相关性分析 (Deep Canonical Correlation Analysis) 嵌入为条件，这些嵌入保留了跨模态的共享信息，从而实现了更连贯的跨模态生成。此外，我们使用归一化流 (Normalizing Flows) 来丰富单模态后验，实现更多样化的数据生成。最后，我们提出使用专家乘积 (Product of Experts) 从多个其他模态推断某一模态，使模型可扩展到任意数量的模态。我们证明了我们的方法在多个数据集上改善了似然估计、生成的多样性，尤其是条件生成中的连贯性指标。
引用
@article{arxiv.2305.11832,
title = {Improving Multimodal Joint Variational Autoencoders through Normalizing Flows and Correlation Analysis},
author = {Agathe Senellart and Clément Chadebec and Stéphanie Allassonnière},
journal= {arXiv preprint arXiv:2305.11832},
year = {2023}
}