面向人体姿态与面部图像合成的双图推理 GAN
计算机视觉与模式识别
2022-11-15 v1 人工智能
摘要
我们提出一种新颖的双图推理生成对抗网络（BiGraphGAN），用于两项具有挑战性的任务：人体姿态与面部图像合成。所提出的图生成器由两个新颖模块组成，分别旨在建模姿态到姿态与姿态到图像的关系。具体而言，所提出的双图推理（BGR）模块旨在以双图推理源姿态与目标姿态之间的长程交叉关系，从而缓解由姿态形变引起的一些挑战。此外，我们提出一种新的交互与聚合（IA）模块，以交互方式有效更新并增强人体形状与外观的特征表示能力。为更精确地捕捉各部件的姿态变化，我们提出一种新颖的部件感知双图推理（PBGR）模块，将用双图推理全局结构变换的任务分解为针对不同语义身体/面部部件学习不同局部变换。在两项具挑战性的生成任务与三个公开数据集上的实验，证明了所提方法在客观量化指标与主观视觉真实感方面的有效性。源代码与训练模型可在 https://github.com/Ha0Tang/BiGraphGAN 获取。
引用
@article{arxiv.2211.06719,
title = {Bipartite Graph Reasoning GANs for Person Pose and Facial Image Synthesis},
author = {Hao Tang and Ling Shao and Philip H. S. Torr and Nicu Sebe},
journal= {arXiv preprint arXiv:2211.06719},
year = {2022}
}
备注
Accepted to IJCV, an extended version of a paper published in BMVC 2020. arXiv admin note: substantial text overlap with arXiv:2008.04381