用于语义图像合成的语义-形状自适应特征调制
计算机视觉与模式识别
2022-04-01 v1
摘要
近年来语义图像合成取得了实质性进展，但合成具有丰富细节的逼真图像仍具挑战性。多数先前方法侧重于利用给定的语义图，而该图仅捕获图像的对象级布局。显然，细粒度的部件级语义布局将有助于对象细节生成，且可从一个对象的形状中粗略推断得出。为利用部件级布局，我们提出了形状感知位置描述符(SPD)来描述每个像素的位置特征，其中对象形状被显式编码进SPD特征。此外，提出了语义-形状自适应特征调制(SAFM)模块，将给定语义图与我们的位置特征结合以产生自适应调制特征。大量实验表明，所提SPD和SAFM显著改善了富含细节的对象生成。而且，在定量与定性评估方面，我们的方法优于SOTA方法。源代码与模型可在 https://github.com/cszy98/SAFM 获取。
引用
@article{arxiv.2203.16898,
title = {Semantic-shape Adaptive Feature Modulation for Semantic Image Synthesis},
author = {Zhengyao Lv and Xiaoming Li and Zhenxing Niu and Bing Cao and Wangmeng Zuo},
journal= {arXiv preprint arXiv:2203.16898},
year = {2022}
}