利用共享潜空间表示可视化结肠镜视频中的缺失表面
图像与视频处理
2021-06-24 v2 计算机视觉与模式识别
摘要
光学结肠镜（OC）作为最普遍的结肠癌筛查工具，因多种因素（包括结肠几何结构（袋状襞与急弯遮挡）、内镜医师经验不足或疲劳、内镜视场等）而具有较高漏检率。我们提出一种框架，用于在结肠镜检查中逐帧可视化漏检区域，并提供可行的临床解决方案。具体而言，我们利用三维重建虚拟结肠镜（VC）数据，并基于VC与OC共享相同底层几何结构但在颜色、纹理与镜面反射上不同且嵌入OC域的洞察。我们引入了一种有损非配对图像到图像翻译模型，并对OC与VC强制共享潜空间。该共享潜空间捕获几何信息，而将颜色、纹理与镜面信息生成推迟至额外的高斯噪声输入。此额外噪声输入可用于生成从VC到OC以及OC到OC的一对多映射。代码、数据与训练模型将通过我们的计算内镜平台 https://github.com/nadeemlab/CEP 发布。
引用
@article{arxiv.2101.07280,
title = {Visualizing Missing Surfaces In Colonoscopy Videos using Shared Latent Space Representations},
author = {Shawn Mathew and Saad Nadeem and Arie Kaufman},
journal= {arXiv preprint arXiv:2101.07280},
year = {2021}
}
备注
IEEE International Symposium on Biomedical Imaging (ISBI) 2021, **Shawn Mathew and Saad Nadeem contributed equally