利用合成数据学习机器人布料操作的关键点
计算机视觉与模式识别
2024-05-22 v2
摘要
辅助机器人应能清洗、折叠或熨烫衣物。然而，由于衣物的多样性、可变形性和自遮挡特性，构建用于布料操作的机器人系统极具挑战性。合成数据是提升泛化能力的一个有前景的方向，但仿真到现实的差距限制了其有效性。为推进合成数据在机器人折叠等布料操作任务中的应用，我们提出了一套合成数据流水线，用于训练近乎平铺布料物品的关键点检测器。为评估其性能，我们还收集了一个真实世界数据集。我们训练了针对T恤、毛巾和短裤的检测器，获得了64%的平均精度和18像素的平均关键点距离。在真实数据上微调后，性能提升至74% mAP，平均距离仅为9像素。此外，我们描述了关键点检测器的失效模式，并比较了获取布料网格和材质的不同方法。我们还量化了剩余的仿真到现实差距，并认为需要进一步改进布料资产的保真度以进一步缩小这一差距。代码、数据集和训练好的模型均已公开。
引用
@article{arxiv.2401.01734,
title = {Learning Keypoints for Robotic Cloth Manipulation using Synthetic Data},
author = {Thomas Lips and Victor-Louis De Gusseme and Francis wyffels},
journal= {arXiv preprint arXiv:2401.01734},
year = {2024}
}
备注
Accepted to RA-L on May 17