基于3D网格提升-投影网络的人体姿态迁移
计算机视觉与模式识别
2021-09-27 v1 图像与视频处理
摘要
人体姿态迁移通常被建模为 2D 图像到图像的翻译问题。该表述忽略了 3D 空间中的人体形状先验，并不可避免地导致不合理的伪影，尤其在面临遮挡时。为解决此问题，我们提出了一种提升-投影框架，在 3D 网格空间中执行姿态迁移。我们框架的核心是一个前景生成模块，由两个新颖网络组成：提升-投影网络（LPNet）与外观细节补偿网络（ADCNet）。为利用人体形状先验，LPNet 利用身体网格的拓扑信息，在 3D 网格空间中为目标人物学习具表现力的视觉表示。为保留纹理细节，进一步引入 ADCNet，利用源前景图像增强 LPNet 生成的特征。前景生成模块的这种设计使模型能更好地处理如遮挡等困难情况。在 iPER 和 Fashion 数据集上的实验实证表明，所提出的提升-投影框架是有效的，并在自迁移与跨迁移设定下的人体姿态迁移任务中优于现有的基于图像到图像和基于网格的方法。
引用
@article{arxiv.2109.11719,
title = {A 3D Mesh-based Lifting-and-Projection Network for Human Pose Transfer},
author = {Jinxiang Liu and Yangheng Zhao and Siheng Chen and Ya Zhang},
journal= {arXiv preprint arXiv:2109.11719},
year = {2021}
}