以实时速度运行大型视觉动作模型
机器人学
2025-10-31 v1
摘要
本文展示了如何在单块消费级 GPU 上以 30Hz 帧率运行 pi0 级别的多视角 VLA，并可达最高 480Hz 轨迹频率。这一能力使以往被认为无法通过大型 VLA 模型实现的动态和实时任务成为可能。为实现此目标，我们引入一组策略以消除模型推理中的开销。实际实验表明，基于我们策略的 pi0 策略在抓取跌落笔的任务中实现了 100% 成功率。基于此结果，我们进一步提出一种用于实时机器人控制的完整流式推理框架。代码已公开于 https://github.com/Dexmal/realtime-vla。
引用
@article{arxiv.2510.26742,
title = {Running VLAs at Real-time Speed},
author = {Yunchao Ma and Yizhuang Zhou and Yunhuan Yang and Tiancai Wang and Haoqiang Fan},
journal= {arXiv preprint arXiv:2510.26742},
year = {2025}
}
备注
Code is available at https://github.com/Dexmal/realtime-vla