Ag2x2：面向零样本双手操作的鲁棒代理无关视觉表征
机器人学
2025-07-29 v1
摘要
双手操作是人类日常活动的基本能力，由于协同控制的内在复杂性，仍然是一项具有挑战性的任务。最近的研究通过从人类视频中获得的代理无关视觉表征，使零样本学习单臂操作技能成为可能；然而，这些方法忽略了双手协同所必需的代理相关信息，例如末端执行器位置。我们提出了 Ag2x2，一种用于双手操作的计算框架，通过协同感知视觉表征来实现，联合编码对象状态和手部运动模式，同时保持代理无关性。大量实验表明，Ag2x2 在来自 Bi-DexHands 和 PerAct2 的 13 种多样化双手任务上实现了 73.5% 的成功率，包括形变对象（如绳索）等具有挑战性的情景。该性能优于基线方法，甚至超过了使用专家设计奖励训练的策略成功率。 Furthermore, 我们展示了通过 Ag2x2 学习到的表征可有效用于模仿学习，建立一个无需专家监督的规模化技能获取管道。通过在无需人类演示或人工设计奖励的情况下，在 diverse 任务上保持稳健性能，Ag2x2 表示了学习复杂双手机器人技能的迈出重要一步。
引用
@article{arxiv.2507.19817,
title = {Ag2x2: Robust Agent-Agnostic Visual Representations for Zero-Shot Bimanual Manipulation},
author = {Ziyin Xiong and Yinghan Chen and Puhao Li and Yixin Zhu and Tengyu Liu and Siyuan Huang},
journal= {arXiv preprint arXiv:2507.19817},
year = {2025}
}
备注
Accepted to IROS 2025, oral presentation. Project page link: https://ziyin-xiong.github.io/ag2x2.github.io/