Cook2LTL: 利用大语言模型将烹饪食谱翻译为 LTL 公式
机器人学
2024-03-08 v2
摘要
烹饪食谱难以转化为机器人规划,因其具有丰富的语言复杂性、时间上延展且相互关联的任务,以及近乎无限的可能动作空间。我们的核心见解是,将烹饪领域知识来源与能够刻画食谱时间丰富性的形式化方法相结合,可以提取出明确无歧义、可由机器人执行的规划。本工作中,我们使用线性时序逻辑(Linear Temporal Logic, LTL)作为一种形式语言,其表达力足以建模烹饪食谱的时间特性。借助预训练大语言模型(LLM),我们提出 Cook2LTL,一个将互联网上任意烹饪食谱的指令步骤翻译为一组 LTL 公式的系统,并将高层烹饪动作映射为可在厨房环境中由机械臂执行的原语动作集合。Cook2LTL 采用一种缓存机制,在运行时动态构建可查询的动作库。我们在真实感仿真环境(AI2-THOR)中实例化 Cook2LTL,并在一系列烹饪食谱上评估其性能。我们证明,相比在运行时对每个新遇动作都查询 LLM 的基线,我们的系统显著减少了 LLM API 调用(-51%)、延迟(-59%)和成本(-42%)。
引用
@article{arxiv.2310.00163,
title = {Cook2LTL: Translating Cooking Recipes to LTL Formulae using Large Language Models},
author = {Angelos Mavrogiannis and Christoforos Mavrogiannis and Yiannis Aloimonos},
journal= {arXiv preprint arXiv:2310.00163},
year = {2024}
}
备注
ICRA 2024 final version