中文

用于快速人体辐射场的泛化神经体素

计算机视觉与模式识别 2023-03-28 v1 图形学

摘要

仅从单目视频在自由视点下渲染运动人体是颇具挑战的问题。信息过于稀疏,难以从视角与姿态两个维度建模复杂的人体结构与运动。神经辐射场(NeRF)在新视点合成中展现出强大能力,并已应用于人体渲染。然而,当前多数基于 NeRF 的方法在训练与渲染上均代价高昂,阻碍了在真实场景中的广泛应用。本文提出一种可从单目视频极快地学习运动人体结构的渲染框架。该框架通过集成神经场与神经体素构建。特别地,构造了一组可泛化的神经体素。经各类人体预训练后,这些通用体素表示基础骨架并能提供强几何先验。在微调过程中,构造个体体素以学习差异纹理,作为通用体素的补充。从而学习新人体可进一步加速,仅需数分钟。相较先前方法,我们的方法在保持相似渲染质量的同时显示出显著更高的训练效率。项目页面位于 https://taoranyi.com/gneuvox 。

关键词

引用

@article{arxiv.2303.15387,
  title  = {Generalizable Neural Voxels for Fast Human Radiance Fields},
  author = {Taoran Yi and Jiemin Fang and Xinggang Wang and Wenyu Liu},
  journal= {arXiv preprint arXiv:2303.15387},
  year   = {2023}
}

备注

Project page: http://taoranyi.com/gneuvox