ManiGaussian：面向多任务机器人操作的动态高斯泼溅

在非结构化环境中执行语言条件的机器人操作任务，对通用智能机器人有着很高的需求。传统的机器人操作方法通常学习观测的语义表示以进行动作预测，这忽略了场景层面的时空动态，而这些动态对于完成人类目标至关重要。在本文中，我们提出了一种名为ManiGaussian的动态高斯泼溅方法，用于多任务机器人操作，该方法通过未来场景重建来挖掘场景动态。具体来说，我们首先构建了动态高斯泼溅框架，该框架在高斯嵌入空间中推断语义传播，并利用语义表示来预测最优机器人动作。然后，我们构建了一个高斯世界模型，以参数化动态高斯泼溅框架中的分布，该模型通过未来场景重建在交互环境中提供信息丰富的监督。我们在10个RLBench任务（共166个变体）上评估了我们的ManiGaussian，结果表明，我们的框架在平均成功率上可以超越最先进方法13.1%。项目页面：https://guanxinglu.github.io/ManiGaussian/。