LLM-Craft：利用大语言模型机器人制作弹塑性物体
机器人学
2025-06-11 v3
摘要
当人类创作雕塑时，我们能够推理出如何在几何上改变黏土状态以达到我们的目标。我们并非计算逐点相似性度量，也非推理工具的底层定位，而是确定需要做出的更高级别的改变。在这项工作中，我们提出了 LLM-Craft，一种新颖的流水线，它利用大语言模型（LLM）来迭代地推理并生成基于变形的制作动作序列。我们简化并耦合了状态和动作表示，以进一步鼓励基于形状的推理。据我们所知，LLM-Craft 是第一个成功利用 LLM 进行复杂可变形物体交互的系统。通过我们的实验，我们证明了使用 LLM-Craft 框架，LLM 能够成功创建一组简单的字母形状。我们探索了多种展开策略，并比较了有无显式目标形状图像的 LLM-Craft 变体的性能。有关视频和提示细节，请访问我们的项目网站：https://sites.google.com/andrew.cmu.edu/llmcraft/home。
引用
@article{arxiv.2406.08648,
title = {LLM-Craft: Robotic Crafting of Elasto-Plastic Objects with Large Language Models},
author = {Alison Bartsch and Amir Barati Farimani},
journal= {arXiv preprint arXiv:2406.08648},
year = {2025}
}