通过公正优化缓解多模态 VAE 中的模态崩溃
机器学习
2022-06-10 v1
摘要
近来出现了若干变分自编码器（VAE），旨在对多模态数据建模，例如联合建模图像及其对应描述文本。然而，多模态 VAE 往往仅聚焦于部分模态，例如拟合图像而忽略描述文本。我们将此局限称为模态崩溃。在本工作中，我们认为该效应是多模态 VAE 训练期间梯度冲突的后果。我们展示了如何检测计算图中梯度冲突的子图（公正块），以及如何利用多任务学习中已有的梯度冲突解决方案来缓解模态崩溃。即，确保跨模态的公正优化。我们将训练框架应用于文献中的若干多模态 VAE 模型、损失与数据集，并凭经验表明我们的框架显著提升了跨模态的重建性能、条件生成以及潜空间的一致性。
引用
@article{arxiv.2206.04496,
title = {Mitigating Modality Collapse in Multimodal VAEs via Impartial Optimization},
author = {Adrián Javaloy and Maryam Meghdadi and Isabel Valera},
journal= {arXiv preprint arXiv:2206.04496},
year = {2022}
}
备注
Accepted as a Spotlight paper at ICML 2022. 27 pages, 10 figures