InsertNeRF:通过超网模块将泛化能力注入 NeRF
计算机视觉与模式识别
2024-03-26 v2
摘要
将神经辐射场(NeRF)泛化到新场景是一项重大挑战,现有方法在不对原始 NeRF 框架进行大量修改的情况下难以应对。我们提出 InsertNeRF,一种将泛化能力注入(INStilling gEneRalizabiliTy into)NeRF 的方法。通过利用多个即插即用的超网(HyperNet)模块,InsertNeRF 动态地将 NeRF 的权重定制到特定参考场景,将多尺度采样感知特征转换为场景特定表示。这一新颖设计实现了对复杂外观和几何的更准确高效表示。实验表明,该方法不仅实现了优越的泛化性能,还为与其他类 NeRF 系统(即使在稀疏输入设置下)集成提供了灵活途径。代码将发布于 https://github.com/bbbbby-99/InsertNeRF。
引用
@article{arxiv.2308.13897,
title = {InsertNeRF: Instilling Generalizability into NeRF with HyperNet Modules},
author = {Yanqi Bao and Tianyu Ding and Jing Huo and Wenbin Li and Yuxin Li and Yang Gao},
journal= {arXiv preprint arXiv:2308.13897},
year = {2024}
}
备注
This work was accepted at ICLR 2024