C-NERF：基于方向一致性差异的神经辐射场场景变化表征
计算机视觉与模式识别
2023-12-27 v2
摘要
本文旨在检测由神经辐射场（NeRF）表示的场景中因物体变化引起的变化。给定任意视角和两个不同时间戳捕获的场景图像集，我们可以预测该视角下的场景变化，这在场景监测与测量中具有重要的潜在应用。我们进行了初步研究，发现利用现有 NeRF 和二维变化检测方法难以轻松实现这一激动人心的任务，且存在大量误检或漏检。主要原因是二维变化检测基于空间对齐图像对之间的像素外观差异，忽略了 NeRF 中的立体信息。为解决这些局限，我们提出 C-NERF，将场景变化表征为基于方向一致性差异的 NeRF，其主要包含三个模块。我们首先对变化前后捕获的两个 NeRF 进行空间对齐。然后，基于方向一致性约束识别变化点；即真实变化点在不同视角方向具有相似的变化表征，而虚假变化点则不然。最后，我们基于构建的 NeRF 设计变化图渲染过程，可生成任意指定视角方向的变化图。为验证有效性，我们构建了一个包含十个场景的新数据集，涵盖不同变化物体的多样化场景。我们的方法显著超越了最先进的 2D 变化检测和基于 NeRF 的方法。
引用
@article{arxiv.2312.02751,
title = {C-NERF: Representing Scene Changes as Directional Consistency Difference-based NeRF},
author = {Rui Huang and Binbin Jiang and Qingyi Zhao and William Wang and Yuxiang Zhang and Qing Guo},
journal= {arXiv preprint arXiv:2312.02751},
year = {2023}
}