Tenma: 基于扩散变换器的鲁棒跨具身机器人操控

扩展Transformer策略与扩散模型推动了机器人操控，但将这些技术结合于轻量级跨具身学习设置中仍具挑战性。我们研究了对于在异构多模态机器人数据上训练的扩散-Transformer策略的稳定性与性能影响最大的设计选择，并提出了Tenma，一个用于双臂控制的轻量级扩散-Transformer。Tenma通过跨具身归一化器整合多视角RGB、本体感觉与语言，将不同的状态/动作空间映射到共享潜在空间；通过联合状态-时间编码器实现时间对齐的观测学习并提升推理速度；以及通过针对训练稳定性与学习能力优化的扩散动作解码器。在各基准测试与匹配算力条件下，Tenma在分布内达到了平均88.95%的成功率，并在物体与场景变化下保持了强劲性能，大幅超越了最佳分布内平均成功率仅为18.12%的基线策略。尽管使用了中等规模的数据，Tenma仍实现了鲁棒的操控与泛化能力，表明多模态与跨具身学习策略在进一步增强基于Transformer的模仿学习策略能力方面具有巨大潜力。