在 JIF 中训练机器人：结合人类与机器人示教的联合逆动力学与正动力学

在大量机器人示教数据集上进行预训练是学习多样化操控技能的有力技术，但往往受限于收集以机器人为中心的数据的高昂成本和复杂性，尤其是对于需要触觉反馈的任务。本工作通过引入一种利用多模态人类示教进行预训练的新方法来应对这些挑战。我们的方法联合学习逆动力学和正动力学以提取潜在状态表示，从而学习特定的操控表示。这使得仅需少量机器人示教即可高效微调，显著提高了数据效率。此外，我们的方法允许使用多模态数据，例如视觉与触觉的组合用于操控。通过利用潜在动力学建模和触觉感知，该方法为基于人类示教的可扩展机器人操控学习铺平了道路。