SoftEnNet：面向结肠镜内镜机器人的共生单目深度估计与管腔分割
图像与视频处理
2023-01-20 v1 计算几何
计算机视觉与模式识别
摘要
结直肠癌是全球癌症死亡的第三大常见原因。光学结肠镜是检测结直肠癌的金标准；然而，约 25% 的息肉在检查过程中被遗漏。基于视觉的自主内镜机器人可通过系统、完整地筛查结肠黏膜而显著改善结肠镜检查流程。所需的可靠机器人导航需要对环境的三维理解以及管腔跟踪以支持自主任务。我们提出了一种新颖的多任务模型，利用深度网络集成同时预测稠密深度与管腔分割。深度估计子网络以视图合成为引导、以自监督方式训练；管腔分割子网络为全监督。两个子网络通过实现信息交换从而相互学习的通路互连。由于管腔位于图像的最深视觉空间，管腔分割有助于最远位置的深度估计。反过来，估计的深度引导管腔分割网络，因为管腔位置定义了最远的场景位置。与其他环境不同，由于可变形壁、无纹理表面、镜面反射以及广角图像畸变，视图合成在结肠中常常失败，这些挑战均被我们的流水线所应对。我们在合成数据集上进行了定性分析，并在结肠训练模型与真实结肠镜视频上进行了定量分析。实验表明，我们的模型能近实时地从结肠镜图像中预测准确的尺度不变深度图与管腔分割。
引用
@article{arxiv.2301.08157,
title = {SoftEnNet: Symbiotic Monocular Depth Estimation and Lumen Segmentation for Colonoscopy Endorobots},
author = {Alwyn Mathew and Ludovic Magerand and Emanuele Trucco and Luigi Manfredi},
journal= {arXiv preprint arXiv:2301.08157},
year = {2023}
}