基于 3D 高斯溶解构建的机器人操作数字孪生体

开发高保真、交互式的数字孪生体对于实现闭环运动规划和可靠的真实机器人执行至关重要，这些都是推动仿真到现实迁移的关键。然而，现有方法常常面临重建缓慢、视觉保真度有限以及将光照一致的模型转换为规划就绪碰撞几何困难的问题。我们提出了一种实用框架，可在稀疏 RGB 输入从何构建高质量的数字孪生体。该系统采用 3D 高斯溶解（3DGS）进行快速、光照一致的重建作为统一的场景表示。我们将 3DGS 增强为基于可见性的语义融合，以实现准确的 3D 标注，并引入一种高效、基于滤波的几何转换方法，以产生无缝集成到 Unity-ROS2-MoveIt 物理引擎中的碰撞就绪模型。在对执行抓取和放置任务的 Franka Emika Panda 机器人进行实验后，我们证明了这种增强的几何精度有效支持了真实世界试验中的稳健操作。这些结果表明，基于 3DGS 的数字孪生体，结合语义和几何一致性，为从感知到操作在非结构化环境中提供了快速、可靠、可扩展的路径。