基于语义关键点的通用衣物操控

衣物操控是家用机器人的关键能力；然而，现有方法通常局限于特定任务（如折叠或熨平），这是由于可变形织物复杂的高维几何特性所致。本文提出了CLothes mAnipulation with Semantic keyPoints（CLASP），用于通用衣物操控，使机器人能够在不同类型的衣物上执行多样化的操控任务。CLASP的核心思想是语义关键点——例如"右肩"、"左袖"等——这是一种对感知和动作都具有显著性的稀疏空间-语义表示。衣物的语义关键点可以从深度图像中有效提取，并且足以表示广泛的衣物操控策略。CLASP利用语义关键点在两级层次结构中连接基于LLM的任务规划和底层动作执行。大量仿真实验表明，CLASP在已见和未见任务中均优于基线方法，涵盖多种衣物类型。此外，在Kinova双臂系统上进行的四项不同任务（折叠、熨平、悬挂和放置）的实验证实了CLASP在真实机器人上的性能。