中文

DReg-NeRF:用于神经辐射场的深度配准

计算机视觉与模式识别 2023-08-21 v1

摘要

尽管神经辐射场(Neural Radiance Fields, NeRF)近期在计算机视觉界广受关注,对多个 NeRF 的配准尚未得到足够重视。不同于基于传统优化方法且需要人工标注关键点的现有工作 NeRF2NeRF,我们提出 DReg-NeRF 以在无人工干预的情况下解决以物体为中心的场景中的 NeRF 配准问题。在训练 NeRF 模型后,我们的 DReg-NeRF 首先从 NeRF 的占据栅格中提取特征。随后,我们的 DReg-NeRF 利用带有自注意力与交叉注意力层的 transformer 架构来学习成对 NeRF 块之间的关系。相较于最先进(SOTA)的点云配准方法,解耦的对应关系由表面场监督,无需任何真值重叠标签。我们构建了一个包含从 Objaverse 获取的 1700+ 个 3D 物体的新视角合成数据集来训练网络。在测试集上评估时,我们提出的方法大幅超越 SOTA 点云配准方法,平均 RPE=9.67\text{RPE}=9.67^{\circ},平均 RTE=0.038\text{RTE}=0.038。代码见 https://github.com/AIBluefisher/DReg-NeRF。

关键词

引用

@article{arxiv.2308.09386,
  title  = {DReg-NeRF: Deep Registration for Neural Radiance Fields},
  author = {Yu Chen and Gim Hee Lee},
  journal= {arXiv preprint arXiv:2308.09386},
  year   = {2023}
}

备注

Accepted at ICCV 2023