用于反射新视角合成的神经点焦散表示

视点相关效应（如反射）对基于图像和神经渲染算法提出了重大挑战。其中，曲面反射体尤其困难，因为随着相机移动，它们会导致高度非线性的反射流。我们引入一种新的基于点的表示来计算神经点焦散（Neural Point Catacaustics），从而能够从一组随意拍摄的输入照片中合成带有曲面反射体场景的新视角。我们方法的核心是一个神经扭曲场，它对反射的焦散轨迹进行建模，因此可以使用高效的点泼溅结合神经渲染器来渲染复杂的镜面效果。我们的关键贡献之一是用反射点云显式表示反射，该点云由神经扭曲场位移，以及一个优化用于表示场景其余部分的主点云。经过简短的手动标注步骤后，我们的方法允许以交互方式高质量渲染具有准确反射流的新视角。此外，反射流的显式表示支持捕获场景中的多种场景操控形式，例如反射编辑、镜面物体克隆、跨视角反射跟踪以及舒适的立体观看。我们在 https://repo-sam.inria.fr/fungraph/neural_catacaustics/ 提供源代码和其他补充材料。