RH20T-P：面向可组合泛化智能体的基元级机器人数据集
机器人学
2025-02-04 v2 计算机视觉与模式识别
摘要
在解决分布外任务时实现泛化能力是学习机器人操作的最终目标之一。视觉语言模型（VLMs）的最新进展表明，基于 VLM 的任务规划器可以通过将复合任务分解为顺序执行已掌握的基元级技能的计划，来缓解解决新任务的困难。将这种可组合泛化能力以可组合泛化智能体的形式适应于机器人操作也是很有前景的。然而，社区缺乏可靠的基元技能设计和足够数量的基元级数据标注。因此，我们提出了 RH20T-P，一个基元级机器人操作数据集，包含约 38k 个视频片段，涵盖真实世界场景中的 67 项不同操作任务。每个片段均根据一套精心设计的、在机器人操作中常见的基元技能进行人工标注。此外，我们标准化了“规划-执行”CGA 范式，并在我们的 RH20T-P 上实现了一个名为 RA-P 的示例基线，其在解决未见任务上的积极表现验证了所提出的数据集能够为机器人操作智能体提供可组合泛化能力。
引用
@article{arxiv.2403.19622,
title = {RH20T-P: A Primitive-Level Robotic Dataset Towards Composable Generalization Agents},
author = {Zeren Chen and Zhelun Shi and Xiaoya Lu and Lehan He and Sucheng Qian and Zhenfei Yin and Wanli Ouyang and Jing Shao and Yu Qiao and Cewu Lu and Lu Sheng},
journal= {arXiv preprint arXiv:2403.19622},
year = {2025}
}
备注
18 pages, 11 figures, 7 tables. Accepted by NeurIPS 2024 Workshop