GD^2-NeRF：通过GAN和扩散的生成细节补偿用于单次可泛化神经辐射场
计算机视觉与模式识别
2024-04-01 v3
摘要
本文聚焦于单次新视角合成(O-NVS)任务，目标是在每个场景仅给定一张参考图像的情况下合成逼真的新视角。之前的单次可泛化神经辐射场(OG-NeRF)方法以推理时无需微调的方式解决此任务，但由于仅编码器架构高度依赖有限的参考图像，存在模糊问题。另一方面，最近的基于扩散的图像到3D方法通过将预训练的2D扩散模型蒸馏到3D表示中显示出生动合理的结果，但需要繁琐的逐场景优化。针对这些问题，我们提出了GD^2-NeRF，一种通过GAN和扩散的生成细节补偿框架，既无需推理时微调，又具有生动合理的细节。具体地，遵循由粗到细的策略，GD^2-NeRF主要由单阶段并行流水线(OPP)和3D一致细节增强器(Diff3DE)组成。在粗阶段，OPP首先将GAN模型高效插入现有OG-NeRF流水线中，利用从训练数据集中捕获的分布内先验初步缓解模糊问题，在锐度(LPIPS, FID)和保真度(PSNR, SSIM)之间取得良好平衡。然后，在细阶段，Diff3DE进一步利用预训练图像扩散模型补充丰富的分布外细节，同时保持良好的3D一致性。在合成和真实世界数据集上的大量实验表明，GD^2-NeRF显著改善了细节，且无需逐场景微调。
引用
@article{arxiv.2401.00616,
title = {GD^2-NeRF: Generative Detail Compensation via GAN and Diffusion for One-shot Generalizable Neural Radiance Fields},
author = {Xiao Pan and Zongxin Yang and Shuai Bai and Yi Yang},
journal= {arXiv preprint arXiv:2401.00616},
year = {2024}
}
备注
Submitted to Journal