中文

LAENeRF:面向神经辐射场的局部外观编辑

计算机视觉与模式识别 2024-03-26 v2

摘要

由于神经辐射场 (NeRFs) 的无处不在,近年来对可编辑隐式 3D 表示的兴趣激增。然而,由于模型参数中编码的外观与几何的纠缠,编辑 NeRFs 所使用的隐式或混合表示十分困难。尽管存在这些挑战,近期的研究已展现出朝着逼真与非逼真外观编辑的初步有前景的步骤。相关工作主要的未决问题包括有限的交互性、缺乏对局部编辑的支持以及巨大的内存需求,使其在实际应用中用处不大。我们用 LAENeRF 解决了这些局限性,这是一个用于 NeRFs 逼真与非逼真外观编辑的统一框架。为了解决局部编辑问题,我们利用体素网格作为区域选择的起点。我们学习了一个从预期射线终止点到最终输出颜色的映射,该映射可选择性地由风格损失进行监督,从而形成一个能够对选定区域执行逼真与非逼真外观编辑的框架。由于我们的映射仅依赖每条射线上的单个点,我们限制了内存需求并实现了快速优化。为了保证交互性,我们使用一组学习到的、可修改的基础颜色,通过加法图层混合来组合输出颜色。与同期工作相比,LAENeRF 在保持较短处理时间的同时实现了重新着色和风格化。此外,我们证明了我们的方法在定量和定性上均超越了基线方法。

关键词

引用

@article{arxiv.2312.09913,
  title  = {LAENeRF: Local Appearance Editing for Neural Radiance Fields},
  author = {Lukas Radl and Michael Steiner and Andreas Kurz and Markus Steinberger},
  journal= {arXiv preprint arXiv:2312.09913},
  year   = {2024}
}

备注

Accepted to CVPR 2024! Project website: https://r4dl.github.io/LAENeRF/