利用 Jensen-Shannon 散度的多模态生成学习
机器学习
2023-05-09 v3 机器学习
摘要
从不同类型数据中学习是机器学习研究中长期存在的目标，因为在描述自然现象时多种信息源会共同出现。然而，现有的近似多模态 ELBO 的生成模型依赖于困难或低效的训练方案来学习联合分布及模态间的依赖关系。在这项工作中，我们提出了一种新颖、高效的目标函数，利用 Jensen-Shannon 散度处理多个分布。它通过动态先验同时直接近似单模态与联合多模态后验。此外，我们从理论上证明了新的多模态 JS 散度 (mmJSD) 目标优化了一个 ELBO。在大量实验中，我们展示了所提出的 mmJSD 模型相较于以往工作在无监督生成学习任务中的优势。
引用
@article{arxiv.2006.08242,
title = {Multimodal Generative Learning Utilizing Jensen-Shannon-Divergence},
author = {Thomas M. Sutter and Imant Daunhawer and Julia E. Vogt},
journal= {arXiv preprint arXiv:2006.08242},
year = {2023}
}
备注
Accepted at NeurIPS 2020, camera-ready version