在多模态变分方法中学习更具表达力的联合分布
机器学习
2020-09-09 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
数据通常由多种模态组成，它们共同描述所观察到的现象。对多模态数据的联合分布建模需要更大的表达力以捕捉高层概念并提供更好的数据表示。然而，基于变分推断的多模态生成模型由于近似后验缺乏灵活性而受限，该后验是通过在已知参数分布族中搜索得到的。我们引入一种利用归一化流提升多模态变分方法表征能力的方法。它用简单参数分布近似联合后验，随后变换为更复杂的分布。通过若干实验，我们证明该模型在各种计算机视觉任务（如着色、边缘与掩码检测以及弱监督学习）上优于基于变分推断的最先进多模态方法。我们还表明，学习更强大的近似联合分布提升了生成样本的质量。我们模型的代码公开于 https://github.com/SashoNedelkoski/BPFDMVM。
引用
@article{arxiv.2009.03651,
title = {Learning more expressive joint distributions in multimodal variational methods},
author = {Sasho Nedelkoski and Mihail Bogojeski and Odej Kao},
journal= {arXiv preprint arXiv:2009.03651},
year = {2020}
}
备注
12 pages, Accepted and presented at LOD 2020