MHVAE：一种受人类启发用于多模态表示学习的深度层次生成模型
机器学习
2020-06-05 v1 机器学习
摘要
人类能够对其外部现实创建丰富的表示。他们的内部表示允许跨模态推断，即可用的感知可诱发对缺失输入模态的感知体验。本文提出多模态层次变分自编码器（MHVAE），一种用于表示学习的层次多模态生成模型。受人类认知模型启发，MHVAE 能够学习任意数量模态的模态特定分布，以及一个负责跨模态推断的联合模态分布。我们形式化推导了该模型的证据下界，并提出了一种基于模态特定表示丢弃来近似联合模态后验的新方法。我们在标准多模态数据集上评估了 MHVAE。我们的模型在基于任意输入模态的联合模态重建与跨模态推断方面，与其他最先进的生成模型表现相当。
引用
@article{arxiv.2006.02991,
title = {MHVAE: a Human-Inspired Deep Hierarchical Generative Model for Multimodal Representation Learning},
author = {Miguel Vasco and Francisco S. Melo and Ana Paiva},
journal= {arXiv preprint arXiv:2006.02991},
year = {2020}
}