探索双任务相关性用于姿态引导的人物图像生成
计算机视觉与模式识别
2022-03-08 v1
摘要
姿态引导的人物图像生成（PGPIG）是将人物图像从源姿态变换到给定目标姿态的任务。现有方法大多仅关注不适定的源到目标任务，未能捕获合理的纹理映射。为解决此问题，我们提出了一种新颖的双任务姿态Transformer网络（DPTN），其引入一个辅助任务（即源到源任务）并利用双任务相关性来提升PGPIG的性能。DPTN具有Siamese结构，包含源到源自重建分支和用于源到目标生成的变换分支。通过在它们之间共享部分权重，源到源任务学到的知识可有效辅助源到目标学习。此外，我们用提出的姿态Transformer模块（PTM）桥接两个分支，以自适应地探索双任务特征间的相关性。这种相关性可建立源与目标间所有像素的细粒度映射，并促进源纹理传输以增强生成目标图像的细节。大量实验表明，我们的DPTN在PSNR和LPIPS方面均优于最先进方法。此外，我们的DPTN仅含979万参数，显著小于其他方法。代码见：https://github.com/PangzeCheung/Dual-task-Pose-Transformer-Network。
引用
@article{arxiv.2203.02910,
title = {Exploring Dual-task Correlation for Pose Guided Person Image Generation},
author = {Pengze Zhang and Lingxiao Yang and Jianhuang Lai and Xiaohua Xie},
journal= {arXiv preprint arXiv:2203.02910},
year = {2022}
}
备注
Accepted to CVPR2022