基于语义数字孪生体的语言模型地面化用于机器人规划
机器人学
2025-06-23 v1 人工智能
摘要
我们提出了一种新型框架，将语义数字孪生体 (Semantic Digital Twins, SDTs) 与大语言模型 (Large Language Models, LLMs) 集成，以实现在动态环境中实现自适应且以目标为导向的机器人任务执行。该系统将自然语言指令分解为结构化的动作三元组，并在由 SDT 提供的上下文环境数据中进行 grounding。这种语义 grounding 使机器人能够解释物体的功能和交互规则，从而实现动作规划和实时适应性。在执行失败时，LLM 利用错误反馈和 SDT 的见解生成恢复策略并迭代修订动作计划。我们使用 ALFRED 基准中的任务对该方法进行评估，展示了在各种家庭场景中的稳健性能。该框架有效地将高层推理与语义环境理解相结合，在面对不确定性和失败的情况下实现可靠的任务完成。
引用
@article{arxiv.2506.16493,
title = {Grounding Language Models with Semantic Digital Twins for Robotic Planning},
author = {Mehreen Naeem and Andrew Melnik and Michael Beetz},
journal= {arXiv preprint arXiv:2506.16493},
year = {2025}
}