利用 4D 表示预训练自回归机器人模型
机器人学
2025-05-20 v2 人工智能
摘要
在海量无标签数据集上预训练的基础模型彻底改变了自然语言和计算机视觉领域，展现出卓越的泛化能力，从而凸显了预训练的重要性。然而，机器人领域的努力却难以取得类似的成功，其限制在于要么需要昂贵的机器人标注，要么缺乏能有效对物理世界进行建模的表示。在本文中，我们引入了 ARM4R，这是一种自回归机器人模型，它利用从人类视频数据中学习到的低层 4D 表示，以生成更好的预训练机器人模型。具体而言，我们专注于利用视频中的 3D 点跟踪表示，这些表示是通过单目深度估计将 2D 表示沿时间维度提升至 3D 空间而获得的。这些 4D 表示在点和机器人状态表示之间保持了至多相差一个线性变换的共享几何结构，从而实现了从人类视频数据到低层机器人控制的高效迁移学习。我们的实验表明，ARM4R 能够高效地从人类视频数据迁移至机器人领域，并在各种机器人环境和配置的任务上持续提升性能。
引用
@article{arxiv.2502.13142,
title = {Pre-training Auto-regressive Robotic Models with 4D Representations},
author = {Dantong Niu and Yuvan Sharma and Haoru Xue and Giscard Biamby and Junyi Zhang and Ziteng Ji and Trevor Darrell and Roei Herzig},
journal= {arXiv preprint arXiv:2502.13142},
year = {2025}
}