基于深度引导神经曲面的高保真内窥镜图像合成
计算机视觉与模式识别
2024-10-31 v2
摘要
在外科肿瘤学中，筛查结肠镜在提供诊断辅助（如活检）和促进手术导航（尤其是结肠息肉检测）方面发挥着关键作用。计算机辅助内窥镜手术最近受到关注，并融合了各种 3D 计算机视觉技术，包括相机定位、深度估计、表面重建等。神经辐射场 (NeRF) 和神经隐式曲面 (NeuS) 作为从注册图像集中推导准确 3D 表面模型的有前景的方法，正在解决现有结肠重建方法受限于相机运动的局限性。然而，单目结肠镜图像重建中表面纹理表示不足以及尺度混淆问题仍阻碍了最终渲染结果的进步。本文引入一种新方法，通过应用 NeuS 于内窥镜图像，并辅以单帧深度图实现结肠段重建。值得注意的是，我们首次探索仅利用单帧深度图进行光照再现和神经渲染应用，而该单帧深度图可轻易从其他单目深度估计网络中获得（具有目标尺度）。通过针对幻影图像进行严格的实验和验证，我们的方法在完全渲染结肠段方面展现出卓越的精度，甚至能捕捉未被观察到的表面部分。这一突破为实现稳定且尺度一致的重建开辟了新途，为改善癌症筛查程序和治疗干预提供了潜在优势。
引用
@article{arxiv.2404.13437,
title = {High-fidelity Endoscopic Image Synthesis by Utilizing Depth-guided Neural Surfaces},
author = {Baoru Huang and Yida Wang and Anh Nguyen and Daniel Elson and Francisco Vasconcelos and Danail Stoyanov},
journal= {arXiv preprint arXiv:2404.13437},
year = {2024}
}