HyP-NeRF：利用超网络学习改进的 NeRF 先验
计算机视觉与模式识别
2023-12-27 v3
摘要
神经辐射场（NeRF）已成为一种日益流行的表示，用于捕捉场景与物体的高质量外观和形状。然而，由于网络权重空间的高维性，在场景或物体类别上学习可泛化的 NeRF 先验一直具有挑战性。为解决现有工作在泛化、多视图一致性方面的局限并提升质量，我们提出 HyP-NeRF，一种利用超网络学习可泛化的类别级 NeRF 先验的潜变量条件化方法。与仅用超网络估计 NeRF 权重不同，我们同时估计权重和多分辨率哈希编码，从而带来显著的质量提升。为进一步提升质量，我们引入去噪与微调策略：对超网络估计的 NeRF 所渲染的图像去噪，并在保持多视图一致性的同时对其进行微调。这些改进使我们能够将 HyP-NeRF 用作可泛化先验，用于多个下游任务，包括单视图或杂乱场景下的 NeRF 重建以及文本到 NeRF。我们提供了定性比较，并在三项任务——泛化、压缩和检索上评估 HyP-NeRF，展示了我们的 state-of-the-art 结果。
引用
@article{arxiv.2306.06093,
title = {HyP-NeRF: Learning Improved NeRF Priors using a HyperNetwork},
author = {Bipasha Sen and Gaurav Singh and Aditya Agarwal and Rohith Agaram and K Madhava Krishna and Srinath Sridhar},
journal= {arXiv preprint arXiv:2306.06093},
year = {2023}
}
备注
Project Page: https://hyp-nerf.github.io