结合EBM先验与MCMC推理学习多模态隐空间
机器学习
2024-08-21 v1 计算机视觉与模式识别
摘要
多模态生成模型对各种应用至关重要。我们提出了一种将表达力强的基于能量的模型（EBM）先验与隐空间中的马尔可夫链蒙特卡洛（MCMC）推理相结合的多模态生成方法。EBM先验充当信息性引导，而MCMC推理——具体而言通过短时朗之万动力学——使后验分布更接近其真实形式。该方法不仅提供了表达力强的先验以更好地捕捉多模态的复杂性，还改善了共享隐变量的学习，从而实现跨模态的更连贯生成。我们的方法得到了实证实验的支持，证实了EBM先验与MCMC推理在增强多模态语境下的跨模态和联合生成任务方面的有效性。
引用
@article{arxiv.2408.10467,
title = {Learning Multimodal Latent Space with EBM Prior and MCMC Inference},
author = {Shiyu Yuan and Carlo Lipizzi and Tian Han},
journal= {arXiv preprint arXiv:2408.10467},
year = {2024}
}