Bringing the RT-1-X Foundation Model to a SCARA robot
机器人学
2024-09-06 v1 机器学习
摘要
传统机器人系统需要针对每个任务、环境和机器人形态提供特定的训练数据。虽然机器学习的最新进展使模型能够泛化到新的任务和环境，但将这些模型适应到全新环境中的挑战在很大程度上仍未被探索。本研究通过调查 RT-1-X 机器人基础模型对其训练期间未见过的机器人类型（来自 UMI-RTX 的 SCARA 机器人）的泛化能力来解决这个问题。初步实验表明，RT-1-X 无法零样本泛化到未见过的机器人类型。然而，通过演示对 RT-1-X 模型进行微调，使机器人能够学习基础模型中包含的拾取任务（但是为另一种机器人学习的）。当向机器人展示包含在基础模型中但未包含在微调数据集中的物体时，结果表明仅迁移了技能，而未迁移物体特定的知识。
引用
@article{arxiv.2409.03299,
title = {Bringing the RT-1-X Foundation Model to a SCARA robot},
author = {Jonathan Salzer and Arnoud Visser},
journal= {arXiv preprint arXiv:2409.03299},
year = {2024}
}
备注
14 pages, submitted to the joint Artificial Intelligence & Machine Learning conference for Belgium, Netherlands & Luxembourg (BNAIC/BeNeLearn)