中文

用于人物图像生成的两流外观迁移网络

计算机视觉与模式识别 2020-11-10 v1

摘要

姿态引导的人物图像生成意指以输入人物图像与期望姿态为条件生成照片级真实感人物图像。该任务需要根据目标姿态对源图像进行空间操控。然而,广泛用于图像生成与翻译的生成对抗网络(GANs)依赖于空间局部且平移等变的算子,即卷积、池化与反池化,其无法处理大幅图像形变。本文提出一种新颖的两流外观迁移网络(2s-ATN)以应对此挑战。它是一种由源流与目标流组成的多阶段架构。每个阶段具有一个外观迁移模块与若干两流特征融合模块。前者寻找两流特征图之间的稠密对应,然后将外观信息从源流迁移至目标流。后者在两流间交换局部信息并补充非局部外观迁移。定量与定性结果均表明,所提2s-ATN能有效处理大空间形变与遮挡,同时保留外观细节。其在两个广泛使用的基准上优于先前的SOTA方法。

关键词

引用

@article{arxiv.2011.04181,
  title  = {Two-Stream Appearance Transfer Network for Person Image Generation},
  author = {Chengkang Shen and Peiyan Wang and Wei Tang},
  journal= {arXiv preprint arXiv:2011.04181},
  year   = {2020}
}

备注

9 pages, 5 figures