Neural Actor：具有姿态控制的人体角色神经自由视角合成
计算机视觉与模式识别
2022-01-05 v2 图形学
机器学习
摘要
我们提出 Neural Actor（NA），一种用于从任意视角和任意可控姿态下高质量合成人体的新方法。我们的方法建立在近期神经场景表示与绘制工作之上，这些工作仅从 2D 图像学习几何与外观的表示。尽管已有工作展示了静态场景的引人注目的绘制以及动态场景的回放，但使用神经隐式方法，特别是在用户控制的新姿态下，进行照片级真实感的人体重建与绘制仍然困难。为解决这个问题，我们利用一个粗糙的身体模型作为代理，将周围的 3D 空间展开到规范姿态。神经辐射场从多视角视频输入中学习规范空间中的姿态相关几何形变以及姿态和视角相关外观效果。为合成高保真动态几何与外观的新视角，我们利用定义在身体模型上的 2D 纹理图作为潜变量来预测残差形变与动态外观。实验表明，我们的方法在回放以及新姿态合成上均优于当前最优方法，甚至能很好地泛化到与训练姿态差异显著的新的姿态。此外，我们的方法还支持对合成结果的身体形状控制。
引用
@article{arxiv.2106.02019,
title = {Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control},
author = {Lingjie Liu and Marc Habermann and Viktor Rudnev and Kripasindhu Sarkar and Jiatao Gu and Christian Theobalt},
journal= {arXiv preprint arXiv:2106.02019},
year = {2022}
}