一种基于表面法线的结肠镜重建神经框架
计算机视觉与模式识别
2023-03-14 v1 机器学习
摘要
从结肠镜视频重建三维表面具有挑战性，因为视频帧中的光照与反射率变化会导致有缺陷的形状预测。为克服该挑战，我们利用表面法向量的特性，开发了一个两步神经框架，显著提升了结肠镜重建质量。基于法线的深度初始化网络以自监督法线一致性损失训练，为法线-深度细化模块提供深度图初始化，该模块利用光照与表面法线之间的关系递归地细化逐帧法线与深度预测。我们的框架在仿体结肠镜数据上的深度精度表现证明了在结肠镜重建中利用表面法线的价值，尤其在正对视图上。由于其低深度误差，我们框架的预测结果仅需有限的后期处理即可临床应用于实时结肠镜重建。
引用
@article{arxiv.2303.07264,
title = {A Surface-normal Based Neural Framework for Colonoscopy Reconstruction},
author = {Shuxian Wang and Yubo Zhang and Sarah K. McGill and Julian G. Rosenman and Jan-Michael Frahm and Soumyadip Sengupta and Stephen M. Pizer},
journal= {arXiv preprint arXiv:2303.07264},
year = {2023}
}
备注
Accepted at IPMI 2023; first two authors contributed equally