基于神经辐射表示的前瞻探索用于连续视觉语言导航
计算机视觉与模式识别
2024-04-03 v1 机器人学
摘要
视觉语言导航（VLN）使智能体能够在 3D 环境中遵循自然语言指令导航至远程位置。在每个导航步骤中，智能体从可能的候选位置中进行选择，然后执行移动。为了更好地进行导航规划，前瞻探索策略旨在通过准确预测候选位置的未来环境来有效评估智能体的下一步动作。为此，一些现有工作预测未来环境的 RGB 图像，但该策略面临图像失真和高计算成本的问题。为了解决这些问题，我们提出了预训练的分层神经辐射表示模型（HNR），以生成未来环境的多级语义特征，这比逐像素的 RGB 重建更鲁棒且更高效。此外，借助预测的未来环境表示，我们的前瞻 VLN 模型能够构建可导航的未来路径树，并通过高效的并行评估选择最优路径。在 VLN-CE 数据集上的大量实验验证了我们方法的有效性。
引用
@article{arxiv.2404.01943,
title = {Lookahead Exploration with Neural Radiance Representation for Continuous Vision-Language Navigation},
author = {Zihan Wang and Xiangyang Li and Jiahao Yang and Yeqi Liu and Junjie Hu and Ming Jiang and Shuqiang Jiang},
journal= {arXiv preprint arXiv:2404.01943},
year = {2024}
}
备注
Accepted by CVPR 2024. The code is available at https://github.com/MrZihan/HNR-VLN