中文

Phone2Act:面向可扩展 VLA 数据收集的低成本、硬件无关的手机遥控系统

机器人学 2026-05-05 v1 人工智能 人机交互

摘要

收集多样化高质量的操控数据对于视觉-语言-动作(VLA)模型训练仍然昂贵,因为现有遥操作框架依赖专业硬件或与特定机器人平台紧密耦合。我们提出 Phone2Act,一个低成本、硬件无关的遥操作框架,将普通智能手机转化为 6 自由度机器人控制器,基于 Google ARCore 实现。该框架构建在模块化的 ROS 2 架构之上,通过可替换的桥接节点将控制逻辑与硬件细节解耦,支持从工业协作机器人到低成本双臂机械臂无需代码修改即可运行。通用记录器同步多摄像头 RGB 流与机器人状态反馈,原生导出 LeRobot 数据集格式,消除后期处理,实现即时 VLA 微调。我们通过在 130 条采集的演示 episodes 上对 GR00T-N1.5 进行微调,验证了该框架,在实际 Dobot CR5 上的多阶段抓取放置任务中实现了 90% 的成功率。

关键词

引用

@article{arxiv.2605.01948,
  title  = {Phone2Act: A Low-Cost, Hardware-Agnostic Teleoperation System for Scalable VLA Data Collection},
  author = {Om Mandhane and Bipin Yadav and Sangeetha Prasanna Ram and Gopalakrishnan Narayanan},
  journal= {arXiv preprint arXiv:2605.01948},
  year   = {2026}
}

备注

6 pages, 5 figures