基于深度学习与条件随机场的常规内镜深度估计与地形重建

结直肠癌是全球癌症死亡的第四大原因，也是美国的第二大原因。通过光学结肠镜识别并切除癌前病变可降低结直肠癌风险。遗憾的是，常规结肠镜会漏诊超过 20% 应被切除的息肉，部分原因在于病变地形对比度差。由于内镜尺寸限制及黏膜形变，在结肠镜检查中成像组织地形颇为困难。多数现有方法做出几何假设或引入先验信息，限制了准确性与灵敏度。本文中，我们提出一种避免这些限制的方法，采用联合深度卷积神经网络-条件随机场（CNN-CRF）框架。估计的深度用于从单幅图像重建结肠表面地形。我们在合成数据上训练 CRF 的一元与成对势函数（于 CNN 中），该合成数据通过开发内镜相机模型并渲染超过 100,000 幅解剖学真实结肠图像生成。我们利用来自猪结肠的真实内镜图像验证我们的方法，这些图像被迁移至类合成域，并以配准计算机断层扫描测量作为真值。CNN-CRF 方法对合成内镜图像的深度估计相对误差为 0.152，对真实内镜图像为 0.242。我们展示了估计深度图可用于从常规结肠镜图像重建黏膜地形。该方法可轻松集成至现有内镜系统，并为改进用于病变检测、分割与分类的计算机辅助检测算法奠定基础。