ID-NeRF：面向可泛化视图合成的间接扩散引导神经辐射场
计算机视觉与模式识别
2024-05-28 v3
摘要
以神经辐射场（NeRF）为代表的隐式神经表示，凭借高质量的视觉结果和数据驱动的优势，主导了三维计算机视觉的研究。然而，它们对密集输入和逐场景优化的需求阻碍了其实际应用。为解决此问题，先前的方法通过从稀疏输入中提取局部特征作为 NeRF 解码器的条件，实现了可泛化的 NeRF。然而，尽管这种方式允许前馈重建，但它们存在一个固有缺陷，即由错误的重投影特征导致的次优结果。在本文中，我们聚焦于这一问题，并旨在通过引入预训练的生成先验来实现高质量的可泛化新视角合成。具体而言，我们提出了一种新颖的间接扩散引导 NeRF 框架，称为 ID-NeRF，它利用预训练的扩散先验作为先前范式创建的重投影特征的引导。值得注意的是，为了实现三维一致的预测，所提出的 ID-NeRF 摒弃了先前三维生成模型中常用的直接监督方式，转而采用了一种新颖的间接先验注入策略。该策略通过基于分数的蒸馏将预训练知识蒸馏到一个富有想象力的潜在空间中，然后提出一个基于注意力的细化模块，利用嵌入的先验来改进从稀疏输入中提取的重投影特征。我们在多个数据集上进行了广泛的实验来评估我们的方法，结果证明了我们的方法在以可泛化方式合成新视角方面的有效性，尤其是在稀疏设置下。
引用
@article{arxiv.2402.01217,
title = {ID-NeRF: Indirect Diffusion-guided Neural Radiance Fields for Generalizable View Synthesis},
author = {Yaokun Li and Chao Gou and Guang Tan},
journal= {arXiv preprint arXiv:2402.01217},
year = {2024}
}