EndoSurf：基于立体内窥镜视频的可变形组织神经表面重建
计算机视觉与模式识别
2023-09-06 v2
摘要
从立体内窥镜视频中重建软组织是许多医学应用的重要前提。以往方法因其对三维场景表示能力不足，难以生成高质量的几何与外观。为解决此问题，我们提出一种新颖的基于神经场的方法，称为 EndoSurf，它能有效地从 RGBD 序列中学习表示形变表面。在 EndoSurf 中，我们用三个神经场对表面动力学、形状和纹理进行建模。首先，利用形变场将三维点从观测空间变换到规范空间。随后，有符号距离函数（SDF）场和辐射场分别预测这些点的 SDF 与颜色，并通过可微体积渲染合成 RGBD 图像。我们通过定制多种正则化策略并解耦几何与外观来约束学习到的形状。在公开内窥镜数据集上的实验表明，EndoSurf 显著优于现有方法，尤其在重建高保真形状方面。代码见 https://github.com/Ruyi-Zha/endosurf.git。
引用
@article{arxiv.2307.11307,
title = {EndoSurf: Neural Surface Reconstruction of Deformable Tissues with Stereo Endoscope Videos},
author = {Ruyi Zha and Xuelian Cheng and Hongdong Li and Mehrtash Harandi and Zongyuan Ge},
journal= {arXiv preprint arXiv:2307.11307},
year = {2023}
}
备注
MICCAI 2023(Oral, Student Travel Award, Top 3%); Ruyi Zha and Xuelian Cheng made equal contributions. Corresponding author: Ruyi Zha ([email protected])