手术高斯曲面元：使用高斯曲面元实现高精度实时手术场景渲染
计算机视觉与模式识别
2025-08-05 v2
摘要
在单目内窥镜视频中对可变形组织进行精确几何重建仍然是机器人辅助微创手术中的一个基本挑战。尽管最近基于神经辐射场(NeRF)和 3D 高斯基元的体积与点基元方法已高效地渲染了手术场景，但它们在处理无伪影的工具遮挡和保留精细解剖细节方面仍然存在困难。这些限制源于不受限制的高斯缩放以及重建期间不足的表面对齐约束。为解决这些问题，我们引入了手术高斯曲面元(Surgical Gaussian Surfels, SGS)，通过约束高斯协方差矩阵沿视角对齐轴方向的缩放分量，将各向异性点基元转换为表面对齐的椭圆形光斑。我们还引入了全融合变形多层感知机(FFD-MLP)，一种轻量级多层感知机(MLP)，以比标准 MLP 快 5 倍的速度预测精确的曲面元运动场。这与处理复杂组织变形的局部约束相结合。我们使用同向视角空间位置梯度，通过在过度重建区域中拆分高斯曲面元来捕获精细图像细节。此外，我们将表面法线定义为每个高斯曲面元基元内密度变化最陡的方向，从而在无需单目法线先验的情况下实现精确的法线估计。我们在两个体内手术数据集上评估了我们的方法，在表面几何、法线图质量和渲染效率方面优于当前最先进方法，同时在实时渲染性能方面保持竞争力。我们将代码发布在 https://github.com/aloma85/SurgicalGaussianSurfels
引用
@article{arxiv.2503.04079,
title = {Surgical Gaussian Surfels: Highly Accurate Real-time Surgical Scene Rendering using Gaussian Surfels},
author = {Idris O. Sunmola and Zhenjun Zhao and Samuel Schmidgall and Yumeng Wang and Paul Maria Scheikl and Viet Pham and Axel Krieger},
journal= {arXiv preprint arXiv:2503.04079},
year = {2025}
}