Demo-JEPA：面向单样本跨本体化imitation的联合嵌入预测架构
机器人学
2026-05-21 v1
摘要
机器人仿真学习常被视为复制示范动作，但动作本质上是本体化相关的。当示范来自具有不同形态、运动学或动作空间的人类或机器人时，这种以动作为中心的观点需要共享动作空间、启发式 retargeting或大规模多本体化 co-training。我们则将示范视为对未来目标的隐式指定：目标代理应推断出示范者正试图实现的状态，而非如何执行它。我们提出了Demo-JEPA，一种跨本体化仿真框架，将示范意图从本体化相关的执行中解耦。基于JEPA构建的世界模型，Demo-JEPA将源视觉示范转换为共享预测表示空间中与目标兼容的未来潜在轨迹。目标代理随后将这些潜在轨迹用作子目标，通过其自身学习的正向动力学进行规划实现。由于Demo-JEPA避免了动作级对应，仅需视觉示范加目标代理自身的交互经验，即可支持跨异构本体化的灵活仿真。在RLBench和真实世界操作任务的实验中，Demo-JEPA在先方法失败的不可见任务和本体化配置下，匹配专用的领域内规划器并实现了泛化。
引用
@article{arxiv.2605.20811,
title = {Demo-JEPA: Joint-Embedding Predictive Architecture for One-shot Cross-Embodiment Imitation},
author = {Jingyang He and Guangrun Li and Jieyu Zhang and Chengkai Hou and Zhengping Che and Shanghang Zhang},
journal= {arXiv preprint arXiv:2605.20811},
year = {2026}
}