COBALT：基于云端远程操控的众包机器人学习
计算机视觉与模式识别
2026-05-20 v1
摘要
大规模高质量示教数据的稀缺性仍是扩大机器人操纵仿射学习的瓶颈。我们提出COBALT，这是一个为仿真和现实世界规模化机器人学习设计的远程操控平台。通过利用向量化环境，我们的可扩展、负载均衡的基础设施支持单台GPU上多个用户的并发远程操控，显著降低了远程操控成本。操作员可以从世界上几乎任何地方通过常用设备连接，包括单或双智能手机、VR头显、3D鼠标和键盘。内存数据缓存和高效视频流保持控制和渲染同步，支持每台GPU最多8个并发用户以20Hz进行，端到端延迟低于100ms。我们还演示了系统支持在8台GPU上运行256个模拟客户端，凸显了系统在硬件和单个服务器内部规模化的能力。我们进行了全面的用户研究，表明基于手机的远程操控在可比或优于专业硬件方面表现相当，从而实现更快、更符合人体工程学的数据收集。为确保数据质量，COBALT记录了一套实时指标，用于自动过滤次优演示。我们进一步演示了结构化的用户培训课程显著提高数据收集质量。基于我们用户研究的洞察，我们众包收集了一大批高质量的试点数据集，包含7500多个演示（50多个小时），跨越9个国家在5天内通过智能手机收集。我们通过训练最先进的仿射学习算法来验证数据集的质量。请访问https://cobalt-teleop.github.io/获取更多详情。
引用
@article{arxiv.2605.19137,
title = {Towards Data-Efficient Video Pre-training with Frozen Image Foundation Models},
author = {Svetlana Orlova and Niccolò Cavagnero and Gijs Dubbelman},
journal= {arXiv preprint arXiv:2605.19137},
year = {2026}
}
备注
Accepted to CVPR 2026 Workshops CV4Smalls