ShaRF：基于单视图的形状条件辐射场
计算机视觉与模式识别
2021-06-24 v2 图形学
摘要
我们提出了一种仅给定单张图像来估计物体神经场景表示的方法。我们方法的核心是为物体估计一个几何支架，并将其用作重建底层辐射场的引导。我们的公式基于一个生成过程：首先将潜码映射到体素化形状，然后将其渲染为图像，物体的外观由第二个潜码控制。在推理过程中，我们优化两个潜码和网络以拟合新物体的测试图像。形状和外观的显式解耦使我们的模型能够基于单张图像进行微调。然后我们可以以几何一致的方式渲染新视图，并忠实表示输入物体。此外，我们的方法能够泛化到训练域之外的图像（更真实的渲染甚至真实照片）。最后，推断出的几何支架本身是对物体三维形状的准确估计。我们在多个实验中展示了我们的方法在合成图像和真实图像上的有效性。
引用
@article{arxiv.2102.08860,
title = {ShaRF: Shape-conditioned Radiance Fields from a Single View},
author = {Konstantinos Rematas and Ricardo Martin-Brualla and Vittorio Ferrari},
journal= {arXiv preprint arXiv:2102.08860},
year = {2021}
}
备注
Project page: http://www.krematas.com/sharf/index.html