EgoZero：基于智能眼镜的机器人学习
机器人学
2025-06-05 v2 人工智能
摘要
尽管通用机器人最近取得了进展，但机器人的策略在现实世界中仍远远落后于人类的基本能力。人类不断与物理世界进行交互，然而这一丰富的数据资源在机器人学习中很大程度上尚未被利用。我们提出了 EgoZero，一个极简系统，它从使用 Project Aria 智能眼镜捕获的人类演示中学习鲁棒的操作策略，且 。EgoZero 能够实现：（1）从野外、以自我为中心的人类演示中提取完整的、机器人可执行的动作；（2）将人类视觉观测压缩为与形态无关的状态表示；（3）在形态、空间和语义上都能泛化的闭环策略学习。我们将 EgoZero 策略部署在夹爪 Franka Panda 机器人上，并在 7 个操作任务中展示了 70% 成功率的零样本迁移，且每个任务的数据收集仅需 20 分钟。我们的结果表明，野外人类数据可以作为现实世界机器人学习的可扩展基础——为未来丰富、多样和自然的机器人训练数据铺平道路。代码和视频可在 https://egozero-robot.github.io 获取。
引用
@article{arxiv.2505.20290,
title = {EgoZero: Robot Learning from Smart Glasses},
author = {Vincent Liu and Ademi Adeniji and Haotian Zhan and Siddhant Haldar and Raunaq Bhirangi and Pieter Abbeel and Lerrel Pinto},
journal= {arXiv preprint arXiv:2505.20290},
year = {2025}
}