基于单张图像的人体神经重渲染

从单张图像进行人体重渲染是一个严重欠约束的问题，最先进的算法常表现出不期望的伪影，如过度平滑、身体部位与衣物的不真实扭曲，或纹理的不可信变化。为应对这些挑战，我们提出了一种新方法，在给定一张输入图像的情况下，于用户定义的新姿态和视角下对人体进行神经重渲染。我们的算法将身体姿态和形状表示为参数化网格，该网格可从单张图像重建并易于重新摆姿。与基于颜色的UV纹理图不同，我们的方法进一步采用学习到的高维UV特征图来编码外观。这种丰富的隐式表示比学习到的颜色纹理图更好地捕捉了跨姿态、视角、人物身份和服装风格的细致外观变化。带有渲染特征图的身体模型被送入一个神经图像翻译网络，生成最终渲染的彩色图像。上述组件组合在一个端到端训练的神经网络架构中，该架构以源人物图像、源姿态和期望目标姿态下的参数化身体模型图像作为输入。实验评估表明，我们的方法比现有方法产生更高质量的单图像重渲染结果。