HR Human：从视频中利用三角网格和高分辨率纹理建模人体化身
计算机视觉与模式识别
2024-05-21 v1
摘要
近年来，隐式神经表示被广泛用于生成可动画的人体化身。然而，这些表示的材料和几何在神经网络中耦合，难以编辑，这阻碍了它们在传统图形引擎中的应用。我们提出一个框架，用于从单目视频获取附着高分辨率基于物理的材质纹理和三角网格的人体化身。我们的方法引入了一种新颖的信息融合策略，结合单目视频的信息并合成虚拟多视图图像，以应对输入视图的稀疏性。我们将人体重建为可变形神经隐式曲面，并在一个良好姿态下提取三角网格作为下一阶段的初始网格。此外，我们引入了一种方法来纠正粗网格边界和尺寸的偏差。最后，我们在多视图中利用超分辨率潜在扩散模型的先验知识来蒸馏分解后的纹理。实验表明，我们的方法在高保真度方面优于先前的表示，并且这种显式结果支持在通用渲染器上部署。
引用
@article{arxiv.2405.11270,
title = {HR Human: Modeling Human Avatars with Triangular Mesh and High-Resolution Textures from Videos},
author = {Qifeng Chen and Rengan Xie and Kai Huang and Qi Wang and Wenting Zheng and Rong Li and Yuchi Huo},
journal= {arXiv preprint arXiv:2405.11270},
year = {2024}
}