面向层次文本到 3D 机器人塑形的 3D 可变形物体规划与推理
机器人学
2025-03-05 v2
摘要
可变形物体操控是开发可在真实场景中成功部署的自主机器人系统的关键挑战之一。本 work 探索了通过将黏土雕刻成 3D 形状这一任务来挑战可变形物体操控。我们提出了第一个从粗到细的自主雕刻系统，其中雕刻智能体首先选择在工作空间中放置多少个黏土块的位置以创建粗略形状，然后依次以变形动作迭代细化形状。我们利用大型语言模型进行子目标生成，并训练基于点云区域的动作模型，从预测机器人动作中获得 desired point cloud sub-goals。此外，我们的方法是第一个无需明确 3D 目标或子目标输入即可实现的自主雕刻系统。我们展示了该方法能够仅通过文本提示成功创建一组简单形状。此外，我们严格探讨了如何为文本到 3D 雕刻任务量化成功，比较现有的文本-图像和文本-点云相似度指标与人类评估。关于实验视频、人类评估细节以及完整提示，请参见我们的项目网站：https://sites.google.com/andrew.cmu.edu/hierarchicalsculpting
引用
@article{arxiv.2412.01765,
title = {Planning and Reasoning with 3D Deformable Objects for Hierarchical Text-to-3D Robotic Shaping},
author = {Alison Bartsch and Amir Barati Farimani},
journal= {arXiv preprint arXiv:2412.01765},
year = {2025}
}