NeRF-RPN：一种在 NeRF 中进行目标检测的通用框架
计算机视觉与模式识别
2023-03-28 v3
摘要
本文提出首个直接作用于 NeRF 的重要目标检测框架 NeRF-RPN。给定预训练的 NeRF 模型，NeRF-RPN 旨在检测场景中物体的所有边界框。通过利用一种融合多尺度 3D 神经体积特征的新颖体素表示，我们证明无需在任何视点渲染 NeRF 即可直接回归 NeRF 中物体的 3D 边界框。NeRF-RPN 是一个通用框架，可应用于无类别标签的物体检测。我们使用多种骨干网络架构、RPN 头设计与损失函数对 NeRF-RPN 进行了实验。它们均可端到端训练以估计高质量 3D 边界框。为促进 NeRF 目标检测的未来研究，我们构建了一个由合成与真实世界数据组成、经仔细标注与清理的新基准数据集。代码与数据集见 https://github.com/lyclyc52/NeRF_RPN。
引用
@article{arxiv.2211.11646,
title = {NeRF-RPN: A general framework for object detection in NeRFs},
author = {Benran Hu and Junkai Huang and Yichen Liu and Yu-Wing Tai and Chi-Keung Tang},
journal= {arXiv preprint arXiv:2211.11646},
year = {2023}
}
备注
Accepted by CVPR 2023