用于视觉语言导航的鸟瞰图场景图
计算机视觉与模式识别
2023-08-15 v2 人工智能
摘要
视觉语言导航（VLN）要求智能体遵循人类指令在3D环境中导航，已取得巨大进展。然而，当前智能体基于全景观测构建，这阻碍了其对3D场景几何的感知，并易导致全景视角选择的歧义。为应对这些局限，我们提出一种鸟瞰图场景图（BSG），其利用多步BEV表征，在3D检测监督下编码室内环境的场景布局与几何线索。在导航过程中，BSG在每一步构建局部BEV表征，并维护基于BEV的全局场景地图，依据拓扑关系存储与组织所有在线收集的局部BEV表征。基于BSG，智能体预测局部BEV网格级决策分数与全局图级决策分数，并结合全景视角的子视角选择分数，以实现更精准的动作预测。我们的方法在REVERIE、R2R与R4R上显著优于最先进方法，展示了BEV感知在VLN中的潜力。
引用
@article{arxiv.2308.04758,
title = {Bird's-Eye-View Scene Graph for Vision-Language Navigation},
author = {Rui Liu and Xiaohan Wang and Wenguan Wang and Yi Yang},
journal= {arXiv preprint arXiv:2308.04758},
year = {2023}
}
备注
Accepted at ICCV 2023; Project page: https://github.com/DefaultRui/BEV-Scene-Graph