TriHuman：用于详细人体几何与外观合成的实时可控三平面表示
计算机视觉与模式识别
2023-12-11 v1
摘要
从视频数据创建可控、逼真且几何细节丰富的真实人类数字双胞胎是计算机图形学和视觉中的一个关键挑战，尤其是在需要实时性能时。最近的方法将神经辐射场（NeRF）附加到铰接结构（例如身体模型或骨架）上，将点映射到姿态规范空间，同时以骨骼姿态为条件对NeRF进行调节。这些方法通常使用多层感知器（MLP）参数化神经场，导致运行速度慢。为了解决这个缺点，我们提出了TriHuman，一种新颖的、针对人类定制的、可变形且高效的三平面表示，实现了实时性能、最先进的姿态可控几何合成以及逼真的渲染质量。核心上，我们将全局光线样本非刚性扭曲到未变形的三平面纹理空间，这有效地解决了全局点被映射到相同三平面位置的问题。然后，我们展示了如何以骨骼运动为条件对这种三平面特征表示进行调节，以考虑动态外观和几何变化。我们的结果在人类几何和外观建模以及运行性能方面朝着更高质量迈出了明确的一步。
引用
@article{arxiv.2312.05161,
title = {TriHuman : A Real-time and Controllable Tri-plane Representation for Detailed Human Geometry and Appearance Synthesis},
author = {Heming Zhu and Fangneng Zhan and Christian Theobalt and Marc Habermann},
journal= {arXiv preprint arXiv:2312.05161},
year = {2023}
}