NeRF-Loc：基于 Transformer 的神经辐射场内物体定位
计算机视觉与模式识别
2023-07-18 v2 机器人学
摘要
神经辐射场（NeRFs）近年来已成为一种广泛应用的空间表示技术，在机器人导航与操控任务中展现出优势。为进一步提升 NeRFs 在机器人领域的效用，我们提出一种基于 transformer 的框架 NeRF-Loc，用于提取 NeRF 场景中物体的 3D 边界框。NeRF-Loc 以预训练的 NeRF 模型和相机视角作为输入，输出带标签的、有朝向的物体 3D 边界框。利用当前的 NeRF 训练工具，机器人可实时训练 NeRF 环境模型，并借助我们的算法识别 NeRF 中感兴趣物体的 3D 边界框，以供下游导航或操控任务使用。具体而言，我们设计了一对并行的 transformer 编码器分支，即粗流与细流，以编码目标物体的上下文与细节。编码后的特征随后通过注意力层融合，以消除歧义并实现准确的物体定位。我们已将本方法与以 NeRF 渲染的 RGB 图像及深度作为输入的常规 RGB(-D) 基方法进行比较。我们的方法优于这些基线。
引用
@article{arxiv.2209.12068,
title = {NeRF-Loc: Transformer-Based Object Localization Within Neural Radiance Fields},
author = {Jiankai Sun and Yan Xu and Mingyu Ding and Hongwei Yi and Chen Wang and Jingdong Wang and Liangjun Zhang and Mac Schwager},
journal= {arXiv preprint arXiv:2209.12068},
year = {2023}
}