RT-Sketch：基于手绘草图的目标条件模仿学习
机器人学
2024-03-06 v1
摘要
自然语言和图像常用作目标条件模仿学习（IL）中的目标表示。然而，自然语言可能含糊不清，而图像可能过度指定。在本工作中，我们提出将手绘草图作为视觉模仿学习中目标指定的模态。草图像语言一样易于用户即时提供，但像图像一样，它们也能帮助下游策略具备空间感知能力，甚至超越图像以区分任务相关与任务无关的对象。我们提出了 RT-Sketch，这是一种用于操作的目标条件策略，它以期望场景的手绘草图为输入并输出动作。我们在成对的轨迹和相应合成生成的目标草图数据集上训练 RT-Sketch。我们在涉及铰接式台面上桌面物体重排的六项操作技能上评估了该方法。实验发现，RT-Sketch 在简单设置中的表现水平与基于图像或语言条件的智能体相当，而在语言目标含糊或存在视觉干扰物时表现出更强的鲁棒性。此外，我们展示了 RT-Sketch 具有解释和响应不同具体程度草图的能力，范围从极简线条画到详细的彩色图画。补充材料和视频请参阅我们的网站：http://rt-sketch.github.io。
引用
@article{arxiv.2403.02709,
title = {RT-Sketch: Goal-Conditioned Imitation Learning from Hand-Drawn Sketches},
author = {Priya Sundaresan and Quan Vuong and Jiayuan Gu and Peng Xu and Ted Xiao and Sean Kirmani and Tianhe Yu and Michael Stark and Ajinkya Jain and Karol Hausman and Dorsa Sadigh and Jeannette Bohg and Stefan Schaal},
journal= {arXiv preprint arXiv:2403.02709},
year = {2024}
}