CLASP：基于语义关键点的通用衣物操控
机器人学
2025-10-20 v2 人工智能
摘要
衣物操控，如折叠或挂起，是家庭服务机器人所必需的关键能力。尽管近期研究取得了进展，但大多数现有方法仍局限于特定衣物类型和特定任务，由于衣物的复杂、高维几何结构。本文提出 CLASP (CLothes mAnipulation with Semantic keyPoints)，旨在实现针对多样化衣物类型的通用衣物操控，包括 T 恤、短裤、裙子、长裙等，以及不同任务，如折叠、平整、挂起等。CLASP 的核心思想是语义关键点——例如“左袖”和“右肩”——一种稀疏的空间-语义表示，对感知和动作都至关重要。衣物的语义关键点可从 RGB-D 图像中可靠提取，并为广泛的衣物操控策略提供有效表示。CLASP 将语义关键点作为中间表示，将高层任务规划与低层动作执行相连接。在高层，CLASP 利用视觉语言模型 (VLMs) 对语义关键点上的任务计划进行预测。在低层，CLASP 通过一套以关键点为条件的预构建操控技能来执行计划。大量仿真实验表明，CLASP 在多种衣物类型上的多个任务上超越了最新基线方法，显示出强大的性能和泛化能力。进一步的使用 Franka 双臂系统进行四种不同任务（折叠、平整、挂起和放置）的实验，确认了 CLASP 在实际生活衣物操控中的性能。
引用
@article{arxiv.2507.19983,
title = {CLASP: General-Purpose Clothes Manipulation with Semantic Keypoints},
author = {Yuhong Deng and Chao Tang and Cunjun Yu and Linfeng Li and David Hsu},
journal= {arXiv preprint arXiv:2507.19983},
year = {2025}
}