基于树状思考网络的零样态目标导航

目标导航对于机器人至关重要，但传统方法需要大量训练数据，无法适用于未知环境。零样态目标导航(ZSON)旨在解决这一挑战，使机器人能够在没有特定训练数据的情况下与未知对象交互。语言驱动的零样态目标导航(L-ZSON)是ZSON的一个扩展，融合了自然语言指令，以引导机器人导航并与对象交互。在本文中，我们提出了一种 novel 视觉语言模型，采用树状思考网络(Tree-of-thought Network, ToT)，用于L-ZSON。VLTNet由四个主要模块组成：视觉语言模型理解、语义映射、树状思考推理与探索以及目标识别。在这些模块中，树状思考(ToT)推理与探索模块是核心组件，创新性地使用ToT推理框架用于机器人探索的前沿选择。与在没有推理的情况下的常规前沿选择相比，使用ToT推理的导航涉及多路径推理过程，并在必要时进行回溯，实现基于全局信息的决策，准确率更高。在PASTURE和RoboTHOR基准测试中，实验结果表明，我们的模型在LZSON中表现出色，尤其是在涉及复杂自然语言目标指令的情景中。