DKPROMPT: 利用领域知识提示视觉语言模型进行开放世界规划
人工智能
2024-06-26 v1 机器人学
摘要
视觉语言模型(VLM)已被应用于机器人任务规划问题，其中机器人以自然语言接收任务并根据视觉输入生成计划。虽然当前的VLM已展现出强大的视觉语言理解能力，但其在规划任务中的性能仍远未达到令人满意的水平。同时，尽管经典任务规划器(如基于PDDL的规划器)在长时域任务规划方面表现强劲，但它们在不常见情况频发的开放世界中表现不佳。本文提出了一种新颖的任务规划与执行框架，称为DKPROMPT，该框架利用PDDL中的领域知识自动化VLM提示，以实现在开放世界中的经典规划。定量实验结果表明，DKPROMPT在任务完成率上优于经典规划、纯VLM方法以及其他几个有竞争力的基线方法。
引用
@article{arxiv.2406.17659,
title = {DKPROMPT: Domain Knowledge Prompting Vision-Language Models for Open-World Planning},
author = {Xiaohan Zhang and Zainab Altaweel and Yohei Hayamizu and Yan Ding and Saeid Amiri and Hao Yang and Andy Kaminski and Chad Esselink and Shiqi Zhang},
journal= {arXiv preprint arXiv:2406.17659},
year = {2024}
}