DiffusioNeRF：用去噪扩散模型正则化神经辐射场
计算机视觉与模式识别
2023-11-09 v3
摘要
在良好条件下，神经辐射场(NeRFs)在 novel view synthesis(新视角合成)任务上展现了令人印象深刻的成果。NeRFs通过最小化训练视图与场景可微渲染之间的光度差异来学习场景的颜色与密度场。一旦从充足视图集训练完成，NeRFs能从任意相机位姿生成新视角。然而，场景几何与颜色场严重欠约束，可能导致伪影，尤其在以少量输入视图训练时。为缓解该问题，我们使用去噪扩散模型(DDM)学习场景几何与颜色上的先验。我们的DDM在合成Hypersim数据集的RGBD块上训练，可用于预测颜色与深度块联合概率分布对数之梯度。我们展示，这些RGBD块先验的对数梯度有助于正则化场景的几何与颜色。NeRF训练期间，渲染随机RGBD块，并将估计的对数似然梯度反传至颜色与密度场。在最具相关性的数据集LLFF上的评估表明，我们学习的先验在重建几何质量与对新视角的泛化能力上均获提升。在DTU上的评估显示，在NeRF方法中重建质量有所改善。
引用
@article{arxiv.2302.12231,
title = {DiffusioNeRF: Regularizing Neural Radiance Fields with Denoising Diffusion Models},
author = {Jamie Wynn and Daniyar Turmukhambetov},
journal= {arXiv preprint arXiv:2302.12231},
year = {2023}
}
备注
CVPR 2023. Updated LPIPS scores in Table 1