GarmentPile++：基于感知引导的杂乱衣物检索，结合视觉-语言推理
机器人学
2026-03-05 v1 人工智能
摘要
衣物操控因其在家庭助理机器人中的关键作用而受到日益关注。然而，大多数现有衣物操控工作假设初始状态仅包含一件衣物，而叠堆的衣物在现实场景中更为常见。为弥合这一差距，我们提出一种新型衣物检索管线，不仅能遵循语言指令执行安全清洁的检索，还能保证每次检索恰好获得一件衣物，为下游任务（如折叠、悬挂、穿戴）的执行奠定稳健的基础。我们的管线无缝集成了视觉-语言推理与视觉感知引导，充分利用 VLM 的高级推理和规划能力，同时发挥视觉感知对低层动作的泛化能力。为增强 VLM 对衣物堆中每件衣物状态的全面了解，我们采用视觉分割模型 (SAM2) 对衣物堆执行目标分割，以提供充足的视觉线索辅助 VLM 推理。进一步集成一个 mask 微调机制，以解决初始分割结果不理想的情况。此外，部署了双臂协作框架，以处理大型或长衣物，以及由于错误抓取点导致的衣物下垂过度依赖单臂处理的情形。我们在多样化的任务和场景中，包括真实环境和仿真环境中，持续证明了该管线的有效性。项目页面：https://garmentpile2.github.io/。
引用
@article{arxiv.2603.04158,
title = {GarmentPile++: Affordance-Driven Cluttered Garments Retrieval with Vision-Language Reasoning},
author = {Mingleyang Li and Yuran Wang and Yue Chen and Tianxing Chen and Jiaqi Liang and Zishun Shen and Haoran Lu and Ruihai Wu and Hao Dong},
journal= {arXiv preprint arXiv:2603.04158},
year = {2026}
}
备注
ICRA2026 Accepted