利用真实合成数据库学习形状从明暗恢复以估计结肠镜图像中的肠腔深度
计算机视觉与模式识别
2024-05-07 v1
摘要
结肠镜是诊断结肠和直肠癌的首选方法，从早期检测小型癌前病变（息肉）到确认恶性肿块。然而，器官外观的高度变异性以及结肠壁和感兴趣结构的复杂形状使该检查十分困难。习得的空间视觉与感知能力通过合理估计肠道深度缓解了临床实践中的技术局限。本工作提出一种从单帧单目结肠镜视频估计结肠深度图的新方法。所生成的深度图由结肠壁相对于光源的明暗变化推断而来，并从真实合成数据库中学习。简言之，一个经典卷积神经网络架构从头训练以估计深度图，通过自定义损失函数（最小化边缘与曲率处的估计误差）改善在结肠袋皱褶和息肉处的锐利深度估计。该网络由我们构建并发布的自定义合成结肠镜数据库训练，包含 248,400 帧（47 段视频），具有像素级深度标注。该集合包含 5 个视觉复杂度渐进升高的视频子集。使用合成数据库的深度估计评估达到了 95.65% 的阈值准确率和 0.451 cm 的平均 RMSE，而使用真实数据库的定性评估显示出一致的深度估计，由本文共同作者的胃肠病专家进行视觉评价。最后，该方法在使用公共合成数据库时与另一种最先进方法相比具有竞争力，并在一组图像中与其他五种最先进方法结果相当。
引用
@article{arxiv.2311.05021,
title = {Leveraging a realistic synthetic database to learn Shape-from-Shading for estimating the colon depth in colonoscopy images},
author = {Josué Ruano and Martín Gómez and Eduardo Romero and Antoine Manzanera},
journal= {arXiv preprint arXiv:2311.05021},
year = {2024}
}