基于坐标的纹理修复用于姿态引导图像生成
计算机视觉与模式识别
2019-07-22 v2
摘要
我们提出了一种用于人体照片姿态引导重合成的深度学习新方法。该方法的核心是基于单张照片估计完整的人体表面纹理。由于输入照片始终只能观察到表面的一部分，我们提出了一种新的修复方法来补全人体纹理。修复网络不直接处理纹理元素的颜色，而是为人体表面的每个元素在输入图像中估计一个合适的源位置。该输入图像与纹理之间的对应场随后根据期望姿态进一步扭曲到目标图像坐标系下，即使在姿态变化剧烈时也能有效建立源视图与目标视图之间的对应。最终的卷积网络利用已建立的对应及所有其他可用信息来合成输出图像。我们使用了由估计对应场引导的带可变形跳跃连接的全卷积架构。我们展示了姿态引导图像合成的最先进结果。此外，我们展示了系统在服装迁移和姿态引导人脸重合成上的性能。
引用
@article{arxiv.1811.11459,
title = {Coordinate-based Texture Inpainting for Pose-Guided Image Generation},
author = {Artur Grigorev and Artem Sevastopolsky and Alexander Vakhitov and Victor Lempitsky},
journal= {arXiv preprint arXiv:1811.11459},
year = {2019}
}
备注
Published in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2019