中文

PersonNeRF:基于照片集合的个性化重建

计算机视觉与模式识别 2023-02-17 v1 图形学

摘要

我们提出 PersonNeRF,一种方法,其接收在多年间以任意身体姿态和外观拍摄的某主体(如 Roger Federer)的照片集合,并能够以支持任意新颖的视角、身体姿态和外观组合来渲染该主体。PersonNeRF 构建该主体的定制化神经体积 3D 模型,能够渲染由相机视角、身体姿态和外观所张成的整个空间。该任务的一个核心挑战在于处理稀疏观测;给定的身体姿态很可能仅由单一视角和单一外观观测到,而给定外观仅在少数不同身体姿态下被观测到。我们通过恢复该主体的规范 T-pose 神经体积表示来解决此问题,该表示允许跨不同观测改变外观,但在所有观测中使用共享的依赖于姿态的运动场。我们证明,该方法连同对恢复的体积几何进行平滑正则化,能够从这些极具挑战性的非结构化照片集合中恢复出可从新颖的视角、姿态和外观组合渲染出引人注目图像的模型,优于先前关于自由视角人体渲染的工作。

关键词

引用

@article{arxiv.2302.08504,
  title  = {PersonNeRF: Personalized Reconstruction from Photo Collections},
  author = {Chung-Yi Weng and Pratul P. Srinivasan and Brian Curless and Ira Kemelmacher-Shlizerman},
  journal= {arXiv preprint arXiv:2302.08504},
  year   = {2023}
}

备注

Project Page: https://grail.cs.washington.edu/projects/personnerf/