用于人物图像生成的深度图像空间变换
计算机视觉与模式识别
2020-03-19 v2 人工智能
摘要
姿态引导的人物图像生成是将源人物图像变换为目标姿态。该任务需要对源数据进行空间操作。然而，卷积神经网络因缺乏空间变换输入的能力而受限。本文中，我们提出一个可微分的全局流局部注意力框架，在特征层级重新组装输入。具体而言，我们的模型首先计算源与目标之间的全局相关性以预测流场。然后，从特征图中提取流动后的局部块对，以计算局部注意力系数。最后，我们使用带有所得局部注意力系数的内容感知采样方法对源特征进行扭曲。主观与客观实验的结果均证明了我们模型的优越性。此外，在视频动画与视图合成中的额外结果表明，我们的模型适用于其他需要空间变换的任务。我们的源代码可在 https://github.com/RenYurui/Global-Flow-Local-Attention 获取。
引用
@article{arxiv.2003.00696,
title = {Deep Image Spatial Transformation for Person Image Generation},
author = {Yurui Ren and Xiaoming Yu and Junming Chen and Thomas H. Li and Ge Li},
journal= {arXiv preprint arXiv:2003.00696},
year = {2020}
}