基于分数的多模态自编码器
机器学习
2024-12-11 v2 计算机视觉与模式识别
摘要
多模态变分自编码器（VAEs）是一类有前景的生成模型，可在给定多模态时在潜空间内构造易处理的后验。已有研究表明，随着模态数量增加，各模态的生成质量下降。本研究探索一种替代方法，通过利用基于分数的模型（SBMs）联合建模独立训练的单模态 VAE 的潜空间，以提升多模态 VAE 的生成性能。SBM 的作用是通过学习潜变量间的相关性来强制多模态一致性。因此，我们的模型将单模态 VAE 更优的生成质量与基于潜空间分数模型的不同模态间连贯整合相结合。此外，我们的方法提供了最佳的无条件一致性。
引用
@article{arxiv.2305.15708,
title = {Score-Based Multimodal Autoencoder},
author = {Daniel Wesego and Pedram Rooshenas},
journal= {arXiv preprint arXiv:2305.15708},
year = {2024}
}