面向生成式机器人策略的仿真-真实联合训练机理分析

联合训练通过将有限的领域内真实数据与丰富的仿真数据或跨本体化机器人数据相结合，广泛应用于生成式机器人策略的训练。尽管其实证成功已广为人知，但决定联合训练何时以及为何有效的机制仍鲜为人知。我们通过理论分析和实证研究，探讨了仿真-真实联合训练的机制，并识别出两种支配性能的内在效应。第一，“结构化表示对齐”，体现了跨域表示对齐与域可区分性之间的平衡，在下游性能中发挥主要作用。第二，“重要性重加权效应”，源于动作权重在各域中的依赖性调制， operates 在次要水平。我们通过 toy 模型上的受控实验以及广泛的仿真-仿真和仿真-真实机器人操作实验验证了这些效应。我们的分析提供了对近期联合训练技术的统一解释，并激发了一个简单方法，持续改进于先前方法。更广泛地说，我们旨在检视联合训练的内部工作，并促进这一方向的研究。