PISE:基于解耦GAN的行人图像合成与编辑
计算机视觉与模式识别
2021-04-01 v4
摘要
行人图像合成,例如姿态迁移,由于较大的形变与遮挡而是一个具有挑战性的问题。现有方法难以预测合理的不可见区域,且无法解耦服装的形状与风格,这限制了其在行人图像编辑上的应用。本文中,我们提出PISE,一种用于行人图像合成与编辑的新型两阶段生成模型,能够生成具有期望姿态、纹理或语义布局的真实行人图像。对于人体姿态迁移,我们首先通过解析图生成器合成与目标姿态对齐的人体解析图以表示服装形状,随后由图像生成器生成最终图像。为解耦服装的形状与风格,我们提出联合全局与局部逐区域编码及归一化,以预测不可见区域合理的服装风格。我们还提出空间感知归一化以保留源图像中的空间上下文关系。定性与定量实验结果表明我们的模型在人体姿态迁移上的优越性。此外,纹理迁移与区域编辑的结果表明我们的模型可应用于行人图像编辑。
引用
@article{arxiv.2103.04023,
title = {PISE: Person Image Synthesis and Editing with Decoupled GAN},
author = {Jinsong Zhang and Kun Li and Yu-Kun Lai and Jingyu Yang},
journal= {arXiv preprint arXiv:2103.04023},
year = {2021}
}
备注
10 pages, 9 figures. CVPR2021, https://github.com/Zhangjinso/PISE