Open-NeRF：面向开放词汇 NeRF 分解
计算机视觉与模式识别
2023-10-26 v1
摘要
本文中，我们解决了将神经辐射场(NeRF)从开放词汇分解为物体的挑战，这是三维重建与视角合成中物体操控的一项关键任务。当前 NeRF 分解技术在开放词汇查询处理的灵活性与三维分割精度之间存在权衡。我们提出开放词汇嵌入神经辐射场(Open-NeRF)，其利用大规模现成分割模型（如 Segment Anything Model (SAM)），并引入带有层次化嵌入的“整合-蒸馏”范式，以同时实现开放词汇查询的灵活性与三维分割精度。Open-NeRF 首先利用大规模基础模型从各异视角生成层次化二维掩码提议，随后通过跟踪方法对齐这些提议，在三维空间内整合并蒸馏进三维场中。该过程确保了不同视角下物体识别与粒度的连续性，即便在遮挡与特征模糊的困难场景中亦如此。实验结果表明，所提 Open-NeRF 在开放词汇场景下优于 LERF \cite{lerf} 与 FFD \cite{ffd} 等最先进方法。Open-NeRF 为受开放词汇查询引导的 NeRF 分解提供了有前景的方案，可在开放世界三维场景中启机器人学与视觉-语言交互的新应用。
引用
@article{arxiv.2310.16383,
title = {Open-NeRF: Towards Open Vocabulary NeRF Decomposition},
author = {Hao Zhang and Fang Li and Narendra Ahuja},
journal= {arXiv preprint arXiv:2310.16383},
year = {2023}
}
备注
Accepted by WACV 2024