高斯煎饼：几何正则化的3D高斯泼溅用于逼真内窥镜重建
计算机视觉与模式识别
2024-08-19 v2
摘要
在结直肠癌诊断中，传统结肠镜技术面临关键限制，包括视野有限和缺乏深度信息，这可能阻碍癌前病变的检测。当前方法难以提供结肠表面的全面准确3D重建，而这有助于最小化缺失区域并减少对癌前息肉的复查。针对这一问题，我们引入了“高斯煎饼”，一种利用3D高斯泼溅（3D GS）结合基于循环神经网络的同步定位与地图构建（RNNSLAM）系统的方法。通过在3D GS框架中引入几何和深度正则化，我们的方法确保高斯体与结肠表面更精确的对齐，从而产生更平滑的3D重建，并能够以新颖视角观察详细的纹理和结构。在三个不同数据集上的评估表明，高斯煎饼提升了新视角合成质量，PSNR提升18%，SSIM提升16%，超越了当前领先方法。它还实现了超过100倍的渲染加速和超过10倍的训练时间缩短，使其成为实时应用的实用工具。因此，这有望实现临床转化，以更好地检测和诊断结直肠癌。
引用
@article{arxiv.2404.06128,
title = {Gaussian Pancakes: Geometrically-Regularized 3D Gaussian Splatting for Realistic Endoscopic Reconstruction},
author = {Sierra Bonilla and Shuai Zhang and Dimitrios Psychogyios and Danail Stoyanov and Francisco Vasconcelos and Sophia Bano},
journal= {arXiv preprint arXiv:2404.06128},
year = {2024}
}
备注
12 pages, 5 figures