EndoLRMGS：结合大规模重建模型与高斯点云的全景内窥镜场景重建
计算机视觉与模式识别
2025-03-31 v1
摘要
完整重建手术场景对机器人辅助手术 (RAS) 至关重要。深度估计虽具前景，但现有方法在深度不连续处难以处理，导致边界处预测噪声，未能实现完整重建，遗漏遮挡表面。为此，我们提出 EndoLRMGS，融合大规模重建模型 (LRM) 与高斯点云 (GS)，实现手术场景的完整重建。GS 用于重建可变形组织，LRM 生成手术器具的 3D 模型，随后通过引入正交透视联合投影优化 (OPjPO) 来优化位置与比例，从而提升精度。在四段来自三个公开数据集的手术视频实验中，我们的方法将器具 3D 模型在 2D 投影上的交并比 (IoU) 提升超过 40%。此外，EndoLRMGS 将器具投影的 PSNR 从 3.82% 提升至 11.07%。组织渲染质量也有所提升，PSNR 从 0.46% 增至 49.87%，SSIM 从 1.53% 增至 29.21%。
引用
@article{arxiv.2503.22437,
title = {EndoLRMGS: Complete Endoscopic Scene Reconstruction combining Large Reconstruction Modelling and Gaussian Splatting},
author = {Xu Wang and Shuai Zhang and Baoru Huang and Danail Stoyanov and Evangelos B. Mazomenos},
journal= {arXiv preprint arXiv:2503.22437},
year = {2025}
}