通过轨迹生成学习可泛化的工具使用技能
机器人学
2024-09-10 v5 人工智能
摘要
能够高效利用工具的自主系统可协助人类完成烹饪、清洁等许多常见任务。然而，当前系统在适应新工具方面的智能水平仍远不及人类。基于可供性（affordance）的已有工作常对环境做强假设，且无法扩展到更复杂的、富含接触的任务。本工作中，我们应对这一挑战，探索智能体如何学会使用此前未见过的工具来操控可变形物体。我们提出学习一种工具使用轨迹的生成模型，将轨迹表示为工具点云序列，从而泛化到不同工具形状。给定任意新工具，我们首先生成一条工具使用轨迹，然后优化工具位姿序列以与所生成轨迹对齐。我们仅在每项任务使用一种工具的演示数据，在四项不同的高难度可变形物体操控任务上训练单一模型。该模型泛化到多种新工具，显著优于基线方法。我们进一步在真实世界中使用未见过的工具测试所训练策略，其表现可与人类相媲美。更多材料见项目网站：https://sites.google.com/view/toolgen。
引用
@article{arxiv.2310.00156,
title = {Learning Generalizable Tool-use Skills through Trajectory Generation},
author = {Carl Qi and Yilin Wu and Lifan Yu and Haoyue Liu and Bowen Jiang and Xingyu Lin and David Held},
journal= {arXiv preprint arXiv:2310.00156},
year = {2024}
}