左右脑并用：迈向视觉与语言规划

大型语言模型（LLM）和大型多模态模型（LMM）在各种任务中展现出了卓越的决策能力。然而，它们本质上是在语言空间内进行规划，缺乏视觉和空间想象能力。相比之下，人类在思考过程中利用大脑的左右半球进行语言和视觉规划。因此，我们在本工作中引入了一种新颖的视觉-语言规划框架，以对任意形式输入的任务执行并发的视觉与语言规划。我们的框架结合视觉规划以捕捉复杂的环境细节，而语言规划则增强了整体系统的逻辑连贯性。我们在视觉-语言任务、纯视觉任务和纯语言任务中评估了该框架的有效性。结果表明我们的方法具有优越的性能，这表明视觉与语言规划的整合能够产生更好的上下文感知任务执行。