语言增强 RNR-Map：以自然语言查询可渲染神经辐射场地图
计算机视觉与模式识别
2023-08-21 v1
摘要
我们提出 Le-RNR-Map，一种用于自然语言查询提示下视觉导航的语言增强可渲染神经辐射地图。近期提出的 RNR-Map 采用网格结构，包含位于每个像素处的潜码。这些从图像观测导出的潜码能够实现：i）给定相机位姿的图像渲染，因为它们被转换为神经辐射场；ii）具有惊人精度的图像导航与定位。在此基础上，我们用基于 CLIP 的嵌入潜码增强 RNR-Map，无需额外标签数据即可实现自然语言搜索。我们评估了该地图在单物体与多物体搜索中的有效性。我们还研究了它与大语言模型作为“可供性查询解析器”的兼容性。代码与视频见 https://intelligolabs.github.io/Le-RNR-Map/
引用
@article{arxiv.2308.08854,
title = {Language-enhanced RNR-Map: Querying Renderable Neural Radiance Field maps with natural language},
author = {Francesco Taioli and Federico Cunico and Federico Girella and Riccardo Bologna and Alessandro Farinelli and Marco Cristani},
journal= {arXiv preprint arXiv:2308.08854},
year = {2023}
}
备注
Accepted at ICCVW23 VLAR