PR-ENDO：面向内窥镜的基于物理的可重照明高斯泼溅
计算机视觉与模式识别
2025-07-10 v2
摘要
内腔内窥镜手术对于诊断结直肠癌以及消化道、泌尿生殖系统和气道中的其他严重病症至关重要。从内窥镜图像进行 3D 重建和新视角合成是增强诊断的有前景的工具。此外，整合生理变形以及与内窥镜的交互，使得从真实视频数据开发仿真工具成为可能。然而，受限的相机轨迹和依赖视角的光照会产生伪影，导致重建不准确或过拟合。我们提出了 PR-ENDO，一种利用内窥镜成像独特性质（即单一光源与相机紧密对齐）的新型 3D 重建框架。我们的方法将光效与组织属性分离。PR-ENDO 通过基于物理的可重照明模型增强了 3D Gaussian Splatting。我们利用一个专门的 MLP 捕获复杂的光相关效应以增强传统的光传输公式，同时确保减少伪影并在新视角上实现更好的泛化。在公开和内部数据集上，PR-ENDO 均实现了优于基线方法的重建质量。与现有方法不同，PR-ENDO 允许进行组织修改，同时保持对光的物理准确响应，使其更接近真实的临床应用。
引用
@article{arxiv.2411.12510,
title = {PR-ENDO: Physically Based Relightable Gaussian Splatting for Endoscopy},
author = {Joanna Kaleta and Weronika Smolak-Dyżewska and Dawid Malarz and Diego Dall'Alba and Przemysław Korzeniowski and Przemysław Spurek},
journal= {arXiv preprint arXiv:2411.12510},
year = {2025}
}