ZeroCAP：基于大语言模型的零样本多机器人上下文感知模式形成
机器人学
2025-03-06 v3
摘要
将语言理解融入机器人操作开启了机器人技术的重大进步，但也带来了独特的挑战，特别是在执行空间导向任务（如模式形成）时。本文介绍了ZeroCAP，一种新颖的系统，它将大语言模型与多机器人系统集成，用于零样本上下文感知模式形成。基于语言条件机器人技术的原理，ZeroCAP利用语言模型的解释能力将自然语言指令转化为可执行的机器人配置。该方法结合了视觉语言模型、前沿分割技术和形状描述符的协同作用，实现了多机器人协调领域中复杂、上下文驱动的模式形成。通过大量实验，我们展示了该系统在一系列任务中执行复杂上下文感知模式形成的能力，从包围和笼住物体到填充区域。这不仅验证了系统解释和实施复杂上下文驱动任务的能力，还强调了其在不同环境和场景中的适应性和有效性。实验视频及更多信息请访问https://sites.google.com/view/zerocap/home。
引用
@article{arxiv.2404.02318,
title = {ZeroCAP: Zero-Shot Multi-Robot Context Aware Pattern Formation via Large Language Models},
author = {Vishnunandan L. N. Venkatesh and Byung-Cheol Min},
journal= {arXiv preprint arXiv:2404.02318},
year = {2025}
}