Knowledge NeRF：面向动态铰接对象的少样本新视角合成
计算机视觉与模式识别
2024-04-09 v2
摘要
我们提出 Knowledge NeRF 以合成动态场景的新视角。从稀疏视角重建动态 3D 场景并从任意视角渲染它们是一个具有挑战性的问题，在各个领域均有应用。以往的动态 NeRF 方法从单目视频中学习铰接对象的形变。然而，它们重建场景的质量有限。为了清晰地重建动态场景，我们提出了一种新框架，每次考虑两帧。我们为铰接对象预训练一个 NeRF 模型。当铰接对象移动时，Knowledge NeRF 通过将预训练 NeRF 模型中的过往知识与当前状态的少量观测相结合，学习在新状态下生成新视角。我们提出了一个投影模块以使 NeRF 适应动态场景，学习预训练知识库与当前状态之间的对应关系。实验结果证明了我们的方法在仅使用某一状态下 5 张输入图像重建动态 3D 场景时的有效性。Knowledge NeRF 是动态铰接对象新视角合成的一种新流程和有前景的解决方案。数据与实现已公开于 https://github.com/RussRobin/Knowledge_NeRF。
引用
@article{arxiv.2404.00674,
title = {Knowledge NeRF: Few-shot Novel View Synthesis for Dynamic Articulated Objects},
author = {Wenxiao Cai and Xinyue Lei and Xinyu He and Junming Leo Chen and Yangang Wang},
journal= {arXiv preprint arXiv:2404.00674},
year = {2024}
}