基于扩散模型的去抗锯齿化神经射出场（NeRF）方法——Drantal-NeRF
计算机视觉与模式识别
2024-07-11 v1
摘要
神经射出场（NeRF）生成的渲染图中存在锯齿化伪影，这是3D隐式表示领域长期且复杂的问题，源于多种复杂原因，此前通过设计更先进但复杂的场景参数化方法来缓解。本文提出了一种基于扩散的去抗锯齿神经射出场方法（Drantal-NeRF）。我们从低层恢复视角考虑去抗锯齿问题，将锯齿化伪影视为添加到干净真实图上的一种退化模型。通过利用扩散模型中所包含的强大先验知识，我们可以在锯齿化低质量图的条件下恢复高真实感的去抗锯齿渲染图。我们进一步采用特征包装操作确保多视图恢复一致性，并微调VAE解码器以更好地适应场景特定的数据分布。我们的方法易于实现且对各种NeRF骨干网络皆不受限制。我们在具有挑战性的大型城市场景以及无限360度场景上进行了广泛实验，实现了显著的定性和定量改进。
引用
@article{arxiv.2407.07461,
title = {Drantal-NeRF: Diffusion-Based Restoration for Anti-aliasing Neural Radiance Field},
author = {Ganlin Yang and Kaidong Zhang and Jingjing Fu and Dong Liu},
journal= {arXiv preprint arXiv:2407.07461},
year = {2024}
}