面向视觉-语言导航的层次化空间邻近性推理
计算机视觉与模式识别
2024-10-23 v3
摘要
大多数视觉-语言导航（Vision-and-Language Navigation, VLN）算法由于缺乏视觉常识和有限的推理能力，容易做出不准确的决策。为解决这一问题，我们提出了一种层次化空间邻近性推理（Hierarchical Spatial Proximity Reasoning, HSPR）方法。首先，我们引入一个场景理解辅助任务，帮助智能体构建层次化空间邻近性知识库。该任务利用全景视图和物体特征来识别节点类型，并揭示节点之间、物体之间以及节点与物体之间的邻接关系。其次，我们提出一种基于层次化空间邻近性知识库的多步推理导航算法，该算法持续规划可行路径以提高探索效率。第三，我们引入一种残差融合方法来提高导航决策的准确性。最后，我们在包括 REVERIE、SOON、R2R 和 R4R 在内的公开数据集上通过实验验证了我们的方法。我们的代码可在 https://github.com/iCityLab/HSPR 获取。
引用
@article{arxiv.2403.11541,
title = {Hierarchical Spatial Proximity Reasoning for Vision-and-Language Navigation},
author = {Ming Xu and Zilong Xie},
journal= {arXiv preprint arXiv:2403.11541},
year = {2024}
}