通过引导自注意力行为克隆策略学习软体任务上的可泛化操作技能
机器人学
2024-10-10 v1 人工智能
摘要
具身人工智能是人工智能研究中的一个范式，其中人工智能体被置于物理或虚拟环境中并与之交互。尽管具身人工智能最近取得了进展，但学习能够处理软体物体（如粘土、水和土壤）上大变形和拓扑变化的可泛化操作技能仍然非常具有挑战性。在这项工作中，我们提出了一种有效的策略，即 GP2E 行为克隆策略，它可以引导智能体从软体任务（包括倾倒、填充、悬挂、挖掘、捏合和书写）中学习可泛化的操作技能。具体来说，我们的策略基于三个见解构建：(1) 从点云数据中提取复杂的语义特征，并将其无缝集成到机器人末端执行器坐标系中；(2) 通过引入我们的引导自注意力模块，捕捉长时域任务中的长距离交互；(3) 通过引入我们的两阶段微调策略，缓解过拟合问题并促进模型收敛到更高的精度水平。通过大量实验，我们通过在 CVPR 2023 第四届具身人工智能研讨会的 ManiSkill2 挑战赛软体赛道中获得第一名，证明了我们方法的有效性。我们的发现凸显了我们的方法在提高具身人工智能模型泛化能力方面的潜力，并为其在现实场景中的实际应用铺平了道路。
引用
@article{arxiv.2410.05756,
title = {Learning the Generalizable Manipulation Skills on Soft-body Tasks via Guided Self-attention Behavior Cloning Policy},
author = {Xuetao Li and Fang Gao and Jun Yu and Shaodong Li and Feng Shuang},
journal= {arXiv preprint arXiv:2410.05756},
year = {2024}
}