OPONeRF：面向鲁棒神经渲染的单点-单 NeRF
计算机视觉与模式识别
2024-10-11 v2
摘要
本文提出一种用于稳健场景渲染的 One-Point-One NeRF (OPONeRF) 框架。现有 NeRF 基于目标场景在训练与测试时间保持不变的假设进行设计。然而，现实中 3D 场景普遍存在小幅不可预测扰动，如物体移动、光照变化及数据污染，导致即便是最新的通用方法也出现严重失效或渲染失败。为此，OPONeRF 提出一种分而治之的框架，通过对个人化点参数进行自适应应对，以应对局部场景变化，而非拟合单一且对测试时间不可见变化不敏感的 NeRF 参数。此外，为显式捕获局部不确定性，我们将点表示解构为确定性映射与概率推断。如此，OPONeRF 学习可共享的不变性，并无监督地建模训练与测试场景之间的意外变化。为验证所提方法有效性，我们构建了来自真实与合成数据的基准，包含前景运动、光照变化及多模态噪声等多样测试时间扰动，挑战性远高于常规泛化与时序重建基准。实验结果表明，OPONeRF 在各种评估指标上超越了最新的 NeRF 方法，经由基准实验与跨场景评估验证。我们进一步通过在现有泛化基准上进行实验，并将单点-单 NeRF 思路融入其他先进基线方法中验证了其有效性。
引用
@article{arxiv.2409.20043,
title = {OPONeRF: One-Point-One NeRF for Robust Neural Rendering},
author = {Yu Zheng and Yueqi Duan and Kangfu Zheng and Hongru Yan and Jiwen Lu and Jie Zhou},
journal= {arXiv preprint arXiv:2409.20043},
year = {2024}
}
备注
Project page and dataset: https://yzheng97.github.io/OPONeRF/