通过分解神经场表示可动画化虚拟化身
计算机视觉与模式识别
2024-06-04 v1 人工智能
图形学
摘要
为了从单目视频重建高保真人体三维模型，保持一致的大尺度身体形状以及精细匹配的细微皱纹至关重要。本文探索了一种观察，即每帧渲染结果可以分解为姿态无关分量和相应的姿态相关等效分量，以促进帧一致性。通过限制这两个分量的频带，可以进一步改善姿态自适应纹理。具体来说，姿态无关输出预期是低频的，而高频信息与姿态相关因子相关联。我们通过一个具有不同频率分量的双分支网络，实现了对整个输入视频中粗尺度身体轮廓和随时间变化的细粒度纹理特征的一致保持。第一个分支以规范空间中的坐标作为输入，而第二个分支额外考虑第一个分支输出的特征和每帧的姿态信息。我们的网络整合了两个分支预测的信息，并利用体渲染生成逼真的三维人体图像。通过实验，我们证明我们的网络在保持高频细节和确保一致的身体轮廓方面，超越了基于神经辐射场（NeRF）的最先进方法。
引用
@article{arxiv.2406.00637,
title = {Representing Animatable Avatar via Factorized Neural Fields},
author = {Chunjin Song and Zhijie Wu and Bastian Wandt and Leonid Sigal and Helge Rhodin},
journal= {arXiv preprint arXiv:2406.00637},
year = {2024}
}