中文

InsertNeRF:通过超网模块将泛化能力注入 NeRF

计算机视觉与模式识别 2024-03-26 v2

摘要

将神经辐射场(NeRF)泛化到新场景是一项重大挑战,现有方法在不对原始 NeRF 框架进行大量修改的情况下难以应对。我们提出 InsertNeRF,一种将泛化能力注入(INStilling gEneRalizabiliTy into)NeRF 的方法。通过利用多个即插即用的超网(HyperNet)模块,InsertNeRF 动态地将 NeRF 的权重定制到特定参考场景,将多尺度采样感知特征转换为场景特定表示。这一新颖设计实现了对复杂外观和几何的更准确高效表示。实验表明,该方法不仅实现了优越的泛化性能,还为与其他类 NeRF 系统(即使在稀疏输入设置下)集成提供了灵活途径。代码将发布于 https://github.com/bbbbby-99/InsertNeRF。

关键词

引用

@article{arxiv.2308.13897,
  title  = {InsertNeRF: Instilling Generalizability into NeRF with HyperNet Modules},
  author = {Yanqi Bao and Tianyu Ding and Jing Huo and Wenbin Li and Yuxin Li and Yang Gao},
  journal= {arXiv preprint arXiv:2308.13897},
  year   = {2024}
}

备注

This work was accepted at ICLR 2024