一种马尔可夫随机场多模态变分自编码器
机器学习
2025-02-10 v2 机器学习
摘要
多模态变分自编码器（VAE）的最新进展凸显了其建模多模态复杂数据的潜力。然而，许多现有方法采用相对简单的聚合方案，可能无法充分捕捉不同模态之间存在的复杂动态。本工作提出了一种新颖的多模态VAE，在先验分布和后验分布中均引入了马尔可夫随机场（MRF）。这种集成旨在更有效地捕捉复杂的模态间交互。与先前模型不同，本方法专门设计用于建模和利用这些关系的细微差别，从而实现对多模态数据更忠实的表示。实验结果表明，本模型在标准PolyMNIST数据集上表现具有竞争力，并在专门设计的用于测试复杂关系的合成数据集上展现出优越的性能，能够有效处理复杂的模态间依赖关系。
引用
@article{arxiv.2408.09576,
title = {A Markov Random Field Multi-Modal Variational AutoEncoder},
author = {Fouad Oubari and Mohamed El Baha and Raphael Meunier and Rodrigue Décatoire and Mathilde Mougeot},
journal= {arXiv preprint arXiv:2408.09576},
year = {2025}
}