SimEndoGS：基于物理嵌入 3D 高斯利用机器人手术视频的高效数据驱动场景仿真

手术场景仿真在手术教育和基于模拟器的机器人学习中起着至关重要的作用。使用手术场景创建这些环境的传统方法涉及一个劳动密集型的过程，设计师需要手工制作具有纹理和几何形状的组织模型以进行软体仿真。这种手工方法不仅耗时，而且在可扩展性和真实性方面存在局限。相比之下，数据驱动的仿真提供了一个引人注目的替代方案。它有潜力从真实世界手术视频数据中自动重建 3D 手术场景，随后应用软体物理学。然而，这一领域相对尚未被探索。在我们的研究中，我们引入了 3D 高斯作为手术场景的可学习表示，该表示从立体内窥镜视频中学习得到。为了防止过拟合并确保这些场景的几何正确性，我们将深度监督和各向异性正则化纳入高斯学习过程。此外，我们将与物理属性相集成的物质点方法应用于 3D 高斯，以实现逼真的场景变形。我们的方法在我们收集的内部和公开手术视频数据集上进行了评估。结果表明，它可以高效地从内窥镜视频重建和仿真手术场景——仅需几分钟即可重建手术场景——并以接近实时的速度产生视觉和物理上合理的变形。结果证明了我们提出的方法在提高手术教育和机器人学习可用仿真的效率和多样性方面具有巨大潜力。