用于 3D 指尖操作的结构动作变换器

通过从异构数据集中通过仿射学习来实现机器人对人类灵巧程度的挑战，受阻于跨本体化技能迁移，特别是对于高自由度机器人手臂。现有方法往往依赖 2D 观察和时间中心的动作表示，难以捕获 3D 空间关系，无法处理本体化异构性。本文提出结构动作变换器 (SAT)，一种新的 3D 指尖操作策略，通过引入结构中心视角来挑战这一范式。我们将每个动作块重新框架化，不作为时间序列，而作为可变长度、无序的关节轨迹序列。这一结构化表述允许变换器原生处理异构本体化， treating 关节数量作为可变序列长度。为编码结构先验并解决歧义，我们引入 Embodied Joint Codebook，将每个关节的功能角色和运动学属性嵌入其中。我们的模型通过连续时间流匹配目标从 3D 点云生成这些轨迹。我们通过在大规模异构数据集上预训练并在仿真和真实世界的指尖操作任务上微调来验证我们的方案。我们的方法在所有基线上都表现出更好的样本效率和有效的跨本体化技能迁移。这种结构中心表示为高自由度、异构操作器提供了新的扩展路径。