基于因子化判别器的多模态对抗学习推断
机器学习
2021-12-21 v1 计算机视觉与模式识别
摘要
从多模态数据中学习是机器学习中的重要研究课题，其有潜力获得更好的表示。在本工作中，我们提出了一种基于生成对抗网络的多模态数据生成建模新方法。为学习一个连贯的多模态生成模型，我们指出有必要同时将不同编码器分布与联合解码器分布对齐。为此，我们构造了一种特定形式的判别器，使模型能高效利用数据，并可进行对比式训练。通过利用因子化判别器带来的对比学习优势，我们在单模态数据上训练模型。我们在基准数据集上进行了实验，其 promising 的结果表明，所提方法在多种指标上优于最先进的方法。源代码将公开可用。
引用
@article{arxiv.2112.10384,
title = {Multimodal Adversarially Learned Inference with Factorized Discriminators},
author = {Wenxue Chen and Jianke Zhu},
journal= {arXiv preprint arXiv:2112.10384},
year = {2021}
}
备注
9 pages, 6 figures