长时序机器人任务理解的骨干框架
机器人学
2025-03-07 v3 人工智能
计算机视觉与模式识别
人机交互
摘要
端到端机器人学习，特别是对于长时序任务，往往导致不可预测的结果和较差的泛化能力。为应对这些挑战，我们提出了一种新的基于Therblig的骨干框架（TBBF），作为增强机器人系统可解释性、数据效率和泛化能力的基本结构。TBBF利用专家演示实现Therblig级别的任务分解，促进高效的动作-对象映射，并为新场景生成自适应轨迹。该方法包含两个阶段：离线训练和在线测试。在离线训练阶段，我们开发了Meta-RGate SynerFusion（MGSF）网络，用于在各种任务中实现精确的Therblig分割。在在线测试阶段，在收集新任务的一次性演示后，MGSF网络提取高层知识，然后使用动作注册（ActionREG）将其编码到图像中。此外，采用大语言模型（LLM）对齐视觉修正策略（LAP-VC）以确保精确的动作注册，促进在新机器人场景中的轨迹迁移。实验结果验证了这些方法，在Therblig分割中实现了94.37%的召回率，在真实世界在线机器人测试中，简单场景和复杂场景的成功率分别为94.4%和80%。补充材料可在以下网址获取：https://sites.google.com/view/therbligsbasedbackbone/home
引用
@article{arxiv.2408.01334,
title = {A Backbone for Long-Horizon Robot Task Understanding},
author = {Xiaoshuai Chen and Wei Chen and Dongmyoung Lee and Yukun Ge and Nicolas Rojas and Petar Kormushev},
journal= {arXiv preprint arXiv:2408.01334},
year = {2025}
}
备注
8 pages, 8 figures. This work has been published by IEEE Robotics and Automation Letters (RA-L)