通过概率分布建模实现多样化语义图像合成
计算机视觉与模式识别
2021-03-12 v1 图形学
摘要
语义图像合成，即将语义布局翻译为照片级真实图像，是一个一对多的映射问题。尽管近期取得了令人印象深刻的进展，能够高效产生语义级多模态结果的多样化语义合成仍具挑战。本文中，我们从语义类分布的角度提出一种新颖的多样化语义图像合成框架，其天然支持在语义乃至实例级的多样化生成。我们将类级条件调制参数建模为连续概率分布而非离散值，并通过跨网络一致的实例自适应随机采样来采样每实例调制参数，从而实现这一点。此外，我们提出先验噪声重映射，通过从配对参考编码的线性扰动参数，以促进监督训练及测试时基于范例的实例风格控制。在多个数据集上的大量实验表明，相较最先进方法，我们的方法能实现更优的多样性与可比的质量。代码将发布于 \url{https://github.com/tzt101/INADE.git}
引用
@article{arxiv.2103.06878,
title = {Diverse Semantic Image Synthesis via Probability Distribution Modeling},
author = {Zhentao Tan and Menglei Chai and Dongdong Chen and Jing Liao and Qi Chu and Bin Liu and Gang Hua and Nenghai Yu},
journal= {arXiv preprint arXiv:2103.06878},
year = {2021}
}
备注
Accepted By CVPR 2021