Feature-EndoGaussian：手术可变形场景重建中的特征蒸馏高斯泼溅
计算机视觉与模式识别
2025-11-14 v2 人工智能
摘要
微创手术（MIS）需要对动态且低纹理的手术场景进行高保真实时视觉反馈。为满足这些要求，我们引入了 FeatureEndo-4DGS（FE-4DGS），这是首个利用特征蒸馏 4D Gaussian Splatting 对可变形手术环境进行同时重建与语义分割的实时流水线。与以往仅限于静态场景的特征蒸馏方法以及缺乏语义集成的现有 4D 方法不同，FE-4DGS 无缝利用预训练的 2D 语义嵌入来生成统一的 4D 表示——其中语义也会随组织运动而变形。这种统一方法能够通过单一且并行的光栅化过程生成实时 RGB 与语义输出。尽管特征蒸馏带来了额外的复杂性，FE-4DGS 仍以紧凑的占用维持实时渲染（61 FPS），在 EndoNeRF（39.1 PSNR）和 SCARED（27.3 PSNR）上实现了 SOTA 渲染保真度，并提供了具竞争力的 EndoVis18 分割结果，在二值分割任务中匹敌或超越强 2D 基线（0.93 DSC），在多标签分割中保持竞争力（0.77 DSC）。
引用
@article{arxiv.2503.06161,
title = {Feature-EndoGaussian: Feature Distilled Gaussian Splatting in Surgical Deformable Scene Reconstruction},
author = {Kai Li and Junhao Wang and William Han and Ding Zhao},
journal= {arXiv preprint arXiv:2503.06161},
year = {2025}
}
备注
17 pages, 5 figures; Accepted to ML4H 2025