VGFlow：用于人体姿态变换的可见性引导流网络
计算机视觉与模式识别
2023-03-30 v4 人工智能
摘要
人体姿态变换任务旨在生成一个人以任意可想姿态站立的真实图像。在生成感知准确图像方面存在多重困难，现有方法在保持纹理、维持图案连贯、遵循衣物边界、处理遮挡、操控皮肤生成等方面存在局限。这些困难因以下事实而进一步加剧：人类姿态朝向的可能空间庞大且多变，衣物物品的性质高度非刚性，且人群中体型差异很大。为缓解这些困难并合成感知准确的图像，我们提出 VGFlow。我们的模型使用可见性引导流模块，将流解耦为目标的可视与不可视部分，以同时进行纹理保持与风格操控。此外，为应对不同体型并避免网络伪影，我们还引入了自监督分块“真实感”损失以改进输出。VGFlow 在不同图像质量指标（SSIM、LPIPS、FID）上定性定量均达到了最先进（SOTA）结果。
引用
@article{arxiv.2211.08540,
title = {VGFlow: Visibility guided Flow Network for Human Reposing},
author = {Rishabh Jain and Krishna Kumar Singh and Mayur Hemani and Jingwan Lu and Mausoom Sarkar and Duygu Ceylan and Balaji Krishnamurthy},
journal= {arXiv preprint arXiv:2211.08540},
year = {2023}
}
备注
Selected for publication in CVPR2023