RobotSmith：为获取复杂操作技能而生成的机器人工具设计
机器人学
2025-06-18 v1
摘要
赋予机器人工具设计能力是实现解决 otherwise 不可行性操作任务的关键。虽然最近的生成框架可以自动合成任务场景（如 3D 场景和奖励函数），但尚未针对工具使用场景进行针对性设计。仅检索人类设计的工具并不理想，因为许多工具（如烘焙面条）对机器人操作臂来说难以处理。此外，现有的工具设计方法要么依赖有限参数调优的预定义模板，要么应用不针对工具创建优化的通用 3D 生成方法。为此，我们提出了 RobotSmith，一个自动化管道，利用视觉语言模型（VLM）中嵌入的隐式物理知识，以及物理仿真提供的更精确物理信息，用于为机器人操作设计和使用工具。我们的系统（1）迭代提议工具设计，使用协作 VLM 代理；（2）生成工具使用的低层机器人轨迹；（3）联合优化工具几何与使用以实现任务性能。我们在涉及刚性、可变形和流体对象的广泛操作任务上进行评估。实验表明，我们的方法在任务成功率和整体性能方面均显著优于强基准。值得注意的是，我们的方法实现了 50.0% 的平均成功率，显著超越其他基准，如 3D 生成（21.4%）和工具检索（11.1%）。最后，我们在实际场景中部署该系统，证明生成的工具及其使用计划能够有效地传递到物理执行中，验证了该方法的实用性和泛化能力。
引用
@article{arxiv.2506.14763,
title = {RobotSmith: Generative Robotic Tool Design for Acquisition of Complex Manipulation Skills},
author = {Chunru Lin and Haotian Yuan and Yian Wang and Xiaowen Qiu and Tsun-Hsuan Wang and Minghao Guo and Bohan Wang and Yashraj Narang and Dieter Fox and Chuang Gan},
journal= {arXiv preprint arXiv:2506.14763},
year = {2025}
}