GarmentLab:服装操控的统一仿真与基准测试
机器人学
2024-12-24 v3 人工智能
计算机视觉与模式识别
人机交互
摘要
操控衣物和织物长期以来一直是家用辅助机器人开发中的关键任务。然而,由于复杂的动力学和拓扑结构,服装操控面临重大挑战。强化学习和基于视觉方法的最新成功为学习服装操控提供了有前景的途径。然而,这些方法受到当前基准测试的严重限制,后者提供的任务多样性有限且仿真行为不真实。因此,我们提出了 GarmentLab,一个内容丰富的基准测试和真实仿真,专门用于可变形物体和服装操控。我们的基准测试涵盖了多种服装类型、机器人系统和操控器。基准测试中丰富的任务进一步探索了服装、可变形物体、刚体、流体和人体之间的交互。此外,通过整合多种仿真方法(如 FEM 和 PBD),以及我们提出的仿真到现实算法和真实世界基准测试,我们旨在显著缩小仿真到现实的差距。我们在各项任务上评估了最先进的视觉方法、强化学习和模仿学习方法,突出了当前算法面临的挑战,特别是其有限的泛化能力。我们提出的开源环境和全面分析为服装操控领域的未来研究通过释放这些方法的全部潜力展现了令人鼓舞的前景。我们保证将尽快开源我们的代码。您可以在补充文件中观看视频以了解更多关于我们工作的细节。我们的项目页面位于:https://garmentlab.github.io/
引用
@article{arxiv.2411.01200,
title = {GarmentLab: A Unified Simulation and Benchmark for Garment Manipulation},
author = {Haoran Lu and Ruihai Wu and Yitong Li and Sijie Li and Ziyu Zhu and Chuanruo Ning and Yan Shen and Longzan Luo and Yuanpei Chen and Hao Dong},
journal= {arXiv preprint arXiv:2411.01200},
year = {2024}
}
备注
NeurIPS 2024