RoboEngine:基于语义机器人分割与背景生成的即插即用机器人数据增强工具包
机器人学
2025-07-15 v2
摘要
视觉增强已成为提升模仿学习视觉鲁棒性的关键技术。然而,现有方法往往受限于相机标定或受控环境(如绿幕设置)等先决条件。本工作中,我们推出 RoboEngine——首个即插即用的视觉机器人数据增强工具包。用户首次能够仅凭几行代码,轻松生成物理与任务感知的机器人场景。为实现这一目标,我们提出了一个全新的机器人场景分割数据集、一个可泛化的高质量机器人分割模型,以及一个经过微调的背景生成模型,三者共同构成了该开箱即用工具包的核心组件。借助 RoboEngine,我们展示了在仅基于单一场景采集的演示数据的情况下,将机器人操作任务泛化至六个全新场景的能力,相较于无增强基线取得了超过 200% 的性能提升。所有数据集、模型权重及工具包均已发布于 https://roboengine.github.io/
引用
@article{arxiv.2503.18738,
title = {RoboEngine: Plug-and-Play Robot Data Augmentation with Semantic Robot Segmentation and Background Generation},
author = {Chengbo Yuan and Suraj Joshi and Shaoting Zhu and Hang Su and Hang Zhao and Yang Gao},
journal= {arXiv preprint arXiv:2503.18738},
year = {2025}
}
备注
Project Page: https://roboengine.github.io/