基于雕刻神经点的视图合成
计算机视觉与模式识别
2023-03-08 v2
摘要
我们解决视图合成任务，即给定一组图像作为输入来生成场景的新视角。在包括 NeRF（Mildenhall 等人，2020）在内的许多近期工作中，场景几何使用神经隐式表示（即 MLP）进行参数化。隐式神经表示已取得了令人印象深刻的视觉质量，但在计算效率上存在缺陷。在本工作中，我们提出一种使用点云执行视图合成的新方法。它是首个在视觉质量上优于 NeRF、同时渲染速度快 100 倍的点基方法。我们的方法建立在已有的可微分点基渲染工作之上，但引入了一种我们称之为“雕刻神经点（Sculpted Neural Points, SNP）”的新技术，显著提升了针对重建点云中误差与孔洞的鲁棒性。我们进一步提出基于球谐函数的视角相关点特征以捕捉非朗伯表面，以及点基渲染流程中的新设计以进一步提升性能。最后，我们展示了我们的系统支持细粒度场景编辑。代码见 https://github.com/princeton-vl/SNP。
引用
@article{arxiv.2205.05869,
title = {View Synthesis with Sculpted Neural Points},
author = {Yiming Zuo and Jia Deng},
journal= {arXiv preprint arXiv:2205.05869},
year = {2023}
}