ManiGaussian++：基于层次化高斯世界模型的通用机器人双臂操控
机器人学
2025-06-25 v1 人工智能
摘要
多任务机器人双臂操控正日益受到关注，因为它能够实现需要多样化双臂协作模式的复杂任务。相较于单臂操控，双臂任务在理解多体时空动力学方面存在挑战。已有方法ManiGaussian 通过高斯世界模型对单臂设置进行时空动力学编码，忽略了双臂系统中多个本体之间的相互作用，导致性能显著下降。本文提出ManiGaussian++，是ManiGaussian框架的一个扩展，通过层次化高斯世界模型消化多体场景动力学，以提升多任务双臂操控性能。具体而言，我们首先从中间视觉特征生成任务导向的高斯光点，以区分作动臂和稳定臂，以进行多体时空动力学建模。随后，我们构建基于领袖-跟随者架构的层次化高斯世界模型，通过未来场景预测挖掘中间视觉表征中的多体时空动力学。领袖通过预测稳定臂运动引起的高斯光点变形，进而由跟随者生成由作动臂运动引起的物理后果。结果表明，我们的方法在10个模拟任务中显著优于当前最先进的双臂操控技术，提升了20.2%；在9个具有挑战性的真实世界任务中实现了60%的平均成功率。我们的代码已公开 https://github.com/April-Yz/ManiGaussian_Bimanual。
引用
@article{arxiv.2506.19842,
title = {ManiGaussian++: General Robotic Bimanual Manipulation with Hierarchical Gaussian World Model},
author = {Tengbo Yu and Guanxing Lu and Zaijia Yang and Haoyuan Deng and Season Si Chen and Jiwen Lu and Wenbo Ding and Guoqiang Hu and Yansong Tang and Ziwei Wang},
journal= {arXiv preprint arXiv:2506.19842},
year = {2025}
}