Talk Through It：终端用户导向的操纵学习
机器人学
2024-02-21 v1
摘要
训练通用机器人代理是一项极其困难的任务，因为需要在许多不同环境中执行大量任务。我们提出转而根据终端用户的偏好选择性训练机器人。给定一个允许终端用户指示机器人执行低级动作（例如“向左移动”）的工厂模型，我们展示了终端用户可以使用语言收集演示数据，从而训练其家庭模型以执行针对其需求的高级任务（例如“打开顶层抽屉并将积木放入其中”）。我们在 RLBench 环境中的机器人操纵任务上展示了这种分层机器人学习框架。与基线方法相比，我们的方法使技能成功率提高了 16%。在进一步的实验中，我们探索了使用大型视觉 - 语言模型 (VLM) Bard 自动将任务分解为低级指令序列，旨在绕过终端用户的参与。该 VLM 无法将任务分解到我们的最低级别，但在将高级任务分解为中级技能方面取得了良好结果。我们在 talk-through-it.github.io 提供了补充视频和额外结果。
引用
@article{arxiv.2402.12509,
title = {Talk Through It: End User Directed Manipulation Learning},
author = {Carl Winge and Adam Imdieke and Bahaa Aldeeb and Dongyeop Kang and Karthik Desingh},
journal= {arXiv preprint arXiv:2402.12509},
year = {2024}
}