追逐幽灵：作为贝叶斯状态追踪的指令跟随

一个视觉基础的导航指令可以被解释为沿正确轨迹行进的智能体将会遇到并执行的一系列期望观测与动作。基于这一直觉，我们在贝叶斯状态追踪的框架内表述视觉与语言导航（VLN）中寻找目标位置的问题——学习以这些可期望事件为条件的观测模型与运动模型。结合一个在导航过程中即时构建语义空间地图的映射器，我们构建了一个端到端可微分的贝叶斯滤波器，并通过根据指令预测地图上最可能轨迹来训练它识别目标。由此产生的导航策略构成了一种显式建模状态概率分布、编码强几何与算法先验同时增强可解释性的指令跟随新方法。我们的实验表明，在地图上预测目标位置时，我们的方法优于强大的 LingUNet 基线。在完整的 VLN 任务（即导航至目标位置）上，我们的方法取得了有前景的结果，且对导航约束的依赖更小。