从单次人类演示学习多步操作任务
机器人学
2024-01-05 v2
摘要
从人类演示中学习在机器人操作方面取得了显著成就。然而，开发一个在学习和泛化能力上匹配人类能力和数据效率的机器人系统仍然是一个挑战，特别是在复杂的非结构化真实世界场景中。我们提出了一个系统，该系统处理RGBD视频以将人类动作翻译为机器人基元，并使用Grounded Segment Anything识别与任务相关的物体关键姿态。然后，我们解决了机器人在复制人类动作时面临的挑战，考虑了人类与机器人在运动学和碰撞几何上的差异。为了测试我们系统的有效性，我们进行了以手动洗碗为重点的实验。在模拟厨房中记录单次人类演示后，该系统在家庭厨房中针对不同物体实现了每个步骤50-100%的成功率，以及整个任务高达40%的成功率。视频可在https://robot-dishwashing.github.io获取。
引用
@article{arxiv.2312.15346,
title = {Learning Multi-Step Manipulation Tasks from A Single Human Demonstration},
author = {Dingkun Guo},
journal= {arXiv preprint arXiv:2312.15346},
year = {2024}
}