GPT-Fabric：基于预训练基础模型的布料平整与折叠方法
机器人学
2024-10-29 v2
摘要
布料操作在收拾被子、处理患者衣物以及保护带覆盖物的项目中具有实际应用价值。由于布料拥有无限维的配置空间、复杂的动力学特性，以及可能处于折叠或褶皱状态并伴随严重的自遮挡问题，机器人进行布料操作具有挑战性。先前的工作要么依赖高度工程化的 setup，要么依赖基于学习的方法创建并训练机器人-布料交互数据。本文提出了GPT-Fabric用于布料平整和折叠的标准化任务，其中GPT直接输出指示机器人在何处抓取和拉动布料的动作。我们在仿真环境中对GPT-Fabric进行了广泛实验，以测试其在平整和折叠任务中的表现。GPT-Fabric在布料平整方面达到了最先进的水平，并且在大多数先前的布料折叠方法测试中的表现也相当，甚至无需在布料特定数据集上进行显式训练（即零样子操作）。此外，我们在物理实验中应用GPT-Fabric，对10次平整和12次折叠进行了实验。我们的结果表明，GPT-Fabric是一种值得期待的高精度布料操作方法。
引用
@article{arxiv.2406.09640,
title = {GPT-Fabric: Smoothing and Folding Fabric by Leveraging Pre-Trained Foundation Models},
author = {Vedant Raval and Enyu Zhao and Hejia Zhang and Stefanos Nikolaidis and Daniel Seita},
journal= {arXiv preprint arXiv:2406.09640},
year = {2024}
}
备注
Code, prompts, videos, and supplementary material are available at https://tinyurl.com/gptfab