多模态生成模型中的变种解耦

多模态数据在各个领域都很常见，学习这些数据的鲁健表征对于增强生成质量和下游任务性能至关重要。为了处理不同模态之间的异质性和相互关联，最近的多模态生成模型通过两个单独的变量提取共享信息和私有(模态特定)信息。尽管尝试强制这两个变量之间的解耦，但这些方法在likelihood模型不足的情况下仍难以应对挑战性数据集。本文提出信息解耦多模态VAE(IDMVAE)，通过严格的互信息正则化来显式解决此问题，包括用于提取共享变量的交叉视图互信息最大化，以及用于消除冗余的循环一致性样式损失。我们进一步引入扩散模型以提高latent prior的容量。这些新提出的组件彼此互补。与现有方法相比，IDMVAE显示出共享信息和私有信息之间的干净分离，展示了在挑战性数据集上的优越生成质量和语义一致性。