利用可微渲染创建与重演可控三维人体
计算机视觉与模式识别
2021-10-25 v1
摘要
本文提出一种新的端到端神经渲染架构，用于迁移外观并重演人体演员。我们的方法利用精心设计的图卷积网络（GCN）对人体流形结构建模，并结合可微渲染，以从初始录制语境之外的不同语境中合成人物的新视频。与近期外观迁移方法不同，我们的方法可重建完全可控的带纹理映射的三维人体模型，同时在视角合成中考虑来自身体形状与纹理外观的流形结构。具体而言，我们的方法以在渲染的人体剪影上自监督训练的三阶段 GCN 对网格形变建模。它还在纹理域中以卷积网络推断纹理外观，该网络以对抗式机制训练，从不同姿态下演员的渲染图像中重建人体纹理。在不同视频上的实验表明，我们的方法成功推断出特定的身体形变，避免产生纹理伪影，同时在外观方面就结构相似性（SSIM）、学习感知图像块相似性（LPIPS）、均方误差（MSE）和 Fréchet 视频距离（FVD）取得了最佳值。通过结合可微渲染与三维参数化模型的优势，我们的方法完全可控，允许从姿态与渲染参数两方面控制人体合成。源代码见 https://www.verlab.dcc.ufmg.br/retargeting-motion/wacv2022。
引用
@article{arxiv.2110.11746,
title = {Creating and Reenacting Controllable 3D Humans with Differentiable Rendering},
author = {Thiago L. Gomes and Thiago M. Coutinho and Rafael Azevedo and Renato Martins and Erickson R. Nascimento},
journal= {arXiv preprint arXiv:2110.11746},
year = {2021}
}
备注
10 pages, 6 figures, to appear in Proceedings of the IEEE Winter Conference on Applications of Computer Vision (WACV) 2022