从幻想到操控：构成化世界模型赋能机器人仿真学习
机器人学
2025-03-11 v2 计算机视觉与模式识别
摘要
世界模型为智能体提供环境表征，使其能够预测自身动作的因果后果。当前的世界模型无法直接且明确地仿真机器人前方的实际环境，常导致不真实的行为和幻觉，难以适用于实际机器人应用。为克服这些挑战，我们提出将机器人世界模型重新思考为可学习的数字双胞胎。我们引入 DreMa（Dream to Manipulate），一种通过学习的显式世界表征及其动力学结构自动构建数字双胞胎的新方法，弥合传统数字双胞胎与世界模型之间的鸿沟。DreMa 通过整合高斯溅射和物理模拟器，复制观察到的世界及其结构，使机器人能够构想物体的新型配置，并凭借其构成性优势预测机器人动作的未来后果。我们利用这一能力通过对小量演示应用等变变换生成新的仿真学习数据。我们的评估在 various 设置下表明，增加动作和物体分布显著提升了精度和鲁棒性，减少了学习策略所需的数据，并改善了智能体的泛化能力。作为亮点，我们展示，一个真实的 Franka Emika Panda 机器人，凭借 DreMa 的幻想能力，能够仅通过每个任务变体一个示例（一次性策略学习）成功学习新型物理任务。项目页面可访问于：https://dreamtomanipulate.github.io/。
引用
@article{arxiv.2412.14957,
title = {Dream to Manipulate: Compositional World Models Empowering Robot Imitation Learning with Imagination},
author = {Leonardo Barcellona and Andrii Zadaianchuk and Davide Allegro and Samuele Papa and Stefano Ghidoni and Efstratios Gavves},
journal= {arXiv preprint arXiv:2412.14957},
year = {2025}
}