将多模态变分方法推广到集合
人工智能
2022-12-21 v1
摘要
理解多种模态能够更全面地描述真实世界现象。然而，学习多样化模态的联合表示仍是新兴机器学习应用与研究中一项长期的努力方向。先前针对多模态输入的生成式方法通过单模态后验作为专家乘积（PoE）或专家混合（MoE）来近似联合模态后验。我们认为这些近似会导致优化过程的边界存在缺陷以及模态间语义联系的丢失。本文提出一种称为集合多模态变分自编码器（SMVAE）的基于集合的新型变分方法，用于学习多模态潜在空间，同时处理缺失模态问题。通过直接建模联合模态后验分布，所提出的 SMVAE 学会在多个模态之间交换信息，并弥补由因子化引起的缺陷。在各个领域的公开数据集上，实验结果表明，与最先进的多模态方法相比，所提方法适用于顺序无关的交叉模态生成，并取得了优异的性能。我们的方法源代码可在 https://anonymous.4open.science/r/SMVAE-9B3C/ 在线获取。
引用
@article{arxiv.2212.09918,
title = {Generalizing Multimodal Variational Methods to Sets},
author = {Jinzhao Zhou and Yiqun Duan and Zhihong Chen and Yu-Cheng Chang and Chin-Teng Lin},
journal= {arXiv preprint arXiv:2212.09918},
year = {2022}
}
备注
First Submission