稀疏内窥视角的高效 3D 场景重建与仿真

手术仿真是医学培训的关键，使实践者能在无风险环境中发展关键技能，同时提高患者安全性和手术效果。然而，传统方法构建仿真环境往往笨拙、耗时且难以扩展，常导致细节不足且仿真不真实。在本文中，我们提出了一种基于高斯溅写的框架，直接从内窥镜数据重建交互式手术场景，确保效率、渲染质量和真实性。数据驱动的仿真范式面临的一个关键挑战是内窥镜摄像机的受限运动，导致视角多样性不足。结果是，高斯溅写表示会对特定视角过拟合，导致几何精度下降。为解决此问题，我们引入了一种基于虚拟摄像机的正则化方法，通过自适应采样场景周围的虚拟视角并纳入优化过程来缓解过拟合问题。对实景和虚拟视角都施加了基于深度的正则化，以进一步细化场景几何。为实现快速变形仿真，我们提出了一种基于稀疏控制节点的材料点法（MPM），将物理属性整合到重建的场景中，同时显著降低计算成本。代表性手术数据上的实验结果表明，我们的方法能够高效地从稀疏内窥视角重建并仿真手术场景。值得注意的是，我们的方法仅需数分钟即可重建手术场景，能以用户定义的交互在实时内产生物理上合理的变形。