Deform3DGS：用于手术场景快速重建的可变形 3D 高斯溅射
计算机视觉与模式识别
2024-05-31 v3
摘要
组织变形是准确手术场景重建的关键挑战。尽管现有方法能实现高质量重建，但渲染速度慢且训练时间长，限制了其在手术中的应用。近期在实时 3D 渲染领域取得的进展推动了本工作的开展。我们提出一种新型快速重建框架，称为 Deform3DGS，用于内窥手术中的可变形组织。具体而言，我们通过集成点云初始化来引入 3D 高斯溅射，从而提高重建质量。进一步，我们提出一种新颖的灵活变形建模方案(FDM)，在高斯单元水平上学习组织变形动力学。我们的 FDM 能以高效表示建模表面变形，实现实时渲染性能。更重要的是，FDM显著加速了手术场景重建，尤其在对时间效率至关重要的内手术场景中展现出显著的临床价值。在达凡西机器人手术视频上实验表明，我们的方法有效，重建保真度达到 PSNR: (37.90)，渲染速度达 338.8 FPS，训练时间仅为 1 分钟/场景。我们的代码已公开于 https://github.com/jinlab-imvr/Deform3DGS。
引用
@article{arxiv.2405.17835,
title = {Deform3DGS: Flexible Deformation for Fast Surgical Scene Reconstruction with Gaussian Splatting},
author = {Shuojue Yang and Qian Li and Daiyun Shen and Bingchen Gong and Qi Dou and Yueming Jin},
journal= {arXiv preprint arXiv:2405.17835},
year = {2024}
}
备注
Early accepted at MICCAI 2024, 10 pages, 2 figures