细节决定差异：基于对象状态敏感的神经机器人任务规划
人工智能
2024-10-17 v2 计算与语言
机器人学
摘要
对象的状态反映其当前的状态或条件，对机器人的任务规划和操作具有重要意义。然而，检测对象的状态并生成具有状态敏感性的计划对机器人而言具有挑战性。最近，预训练的大语言模型（LLM）和视觉语言模型（VLM）在生成计划方面显示出惊人的能力。然而,据我们所知，几乎没有研究探讨过LLM或VLM是否能够生成对象状态敏感的计划。为此，我们引入了一个对象状态敏感智能体（Object State-Sensitive Agent, OSSA），一个由预训练神经网络赋能的任务规划智能体。我们提出了两种方法 for OSSA：(i)由预训练视觉处理模块（密集描述模型，dense captioning model, DCM）和自然语言处理模型（LLM）组成的模块化模型，(ii)仅由VLM组成的单体化模型。为定量评估两种方法的性能，我们使用桌面场景进行测试，任务为清桌。我们贡献了一个考虑对象状态的多模态基准数据集。我们的结果表明，两种方法都可用于对象状态敏感任务，但单体化方法在模块化方法方面表现更好。OSSA的代码已发布于 https://github.com/Xiao-wen-Sun/OSSA
引用
@article{arxiv.2406.09988,
title = {Details Make a Difference: Object State-Sensitive Neurorobotic Task Planning},
author = {Xiaowen Sun and Xufeng Zhao and Jae Hee Lee and Wenhao Lu and Matthias Kerzel and Stefan Wermter},
journal= {arXiv preprint arXiv:2406.09988},
year = {2024}
}
备注
ICANN24, Switzerland