IntrinsicNGP:基于内在坐标哈希编码的人体 NeRF
计算机视觉与模式识别
2023-03-13 v2
摘要
近期,许多工作被提出以利用神经辐射场(NeRF)进行人体表演者的新视角合成。然而,这些方法大多需要数小时训练,难以实用。为解决这一挑战性问题,我们提出 IntrinsicNGP,它可从零开始训练,并利用人体表演者视频在几分钟内取得高保真结果。为实现该目标,我们在 instant-NGP 的哈希编码模块中引入了连续且可优化的内在坐标,以替代原有的显式欧几里得坐标。借助这一新颖的内在坐标,IntrinsicNGP 可在代理几何形状的辅助下聚合动态物体的帧间信息。此外,使用给定粗糙几何形状训练得到的结果,可基于该内在坐标通过可优化偏移场进一步精炼。在多个数据集上的大量实验结果证明了 IntrinsicNGP 的有效性与高效性。我们还展示了该方法编辑重建对象形状的能力。
引用
@article{arxiv.2302.14683,
title = {IntrinsicNGP: Intrinsic Coordinate based Hash Encoding for Human NeRF},
author = {Bo Peng and Jun Hu and Jingtao Zhou and Xuan Gao and Juyong Zhang},
journal= {arXiv preprint arXiv:2302.14683},
year = {2023}
}
备注
Project page:https://ustc3dv.github.io/IntrinsicNGP/. arXiv admin note: substantial text overlap with arXiv:2210.01651