NerfDiff：基于NeRF引导从3D感知扩散模型蒸馏的单图像新视角合成
计算机视觉与模式识别
2023-02-21 v1 机器学习
摘要
从单幅图像进行新视角合成需要在保持与输入图像的语义和物理一致性的同时，推断物体和场景中被遮挡的区域。现有方法将神经辐射场（NeRF）建立在局部图像特征上，将点投影到输入图像平面，并聚合2D特征以执行体渲染。然而，在严重遮挡下，这种投影无法解决不确定性，导致渲染模糊且缺乏细节。在这项工作中，我们提出NerfDiff，它通过在测试时合成并细化一组虚拟视角，将3D感知条件扩散模型（CDM）的知识蒸馏到NeRF中，从而解决该问题。我们进一步提出一种新颖的NeRF引导蒸馏算法，该算法同时从CDM样本生成3D一致的虚拟视角，并基于改进的虚拟视角微调NeRF。我们的方法在包括ShapeNet、ABO和Clevr3D在内的具有挑战性的数据集上，显著优于现有的基于NeRF和无几何方法。
引用
@article{arxiv.2302.10109,
title = {NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion},
author = {Jiatao Gu and Alex Trevithick and Kai-En Lin and Josh Susskind and Christian Theobalt and Lingjie Liu and Ravi Ramamoorthi},
journal= {arXiv preprint arXiv:2302.10109},
year = {2023}
}
备注
Project page: https://jiataogu.me/nerfdiff/