使用扩展与方向性 CycleGAN 进行有损图像翻译以增强结肠镜
图像与视频处理
2021-08-27 v3 计算机视觉与模式识别
摘要
结直肠癌筛查方式，如光学结肠镜（OC）与虚拟结肠镜（VC），对诊断和最终切除息肉（结直肠癌前体）至关重要。非侵入性的 VC 通常用于检查（由 CT 扫描重建的）3D 结肠以发现息肉，若发现则执行 OC 程序通过内窥镜物理遍历结肠并切除这些息肉。本文中，我们提出一种深度学习框架，扩展与方向性 CycleGAN，用于 OC 与 VC 之间有损非配对图像到图像翻译，以用来自 VC 的尺度一致深度信息增强 OC 视频序列，并用来自 OC 的患者特定纹理、颜色与镜面高光增强 VC（例如用于真实息肉合成）。OC 与 VC 均含结构信息，但其在 OC 中被额外的患者特定纹理与镜面高光所掩盖，从而使从 OC 到 VC 的翻译为有损。现有 CycleGAN 方法不处理有损变换。为解决此缺陷，我们引入扩展循环一致性损失，其在 VC 域中比较来自 OC 的几何结构。该损失消除了 CycleGAN 在 VC 域中嵌入 OC 信息的需要。为处理更强程度的纹理与光照去除，引入方向性判别器以区分翻译方向（通过为判别器创建配对信息），而非标准 CycleGAN 的无方向区分。结合扩展循环一致性损失与方向性判别器，我们在幻影、带纹理 VC 及真实息肉与正常结肠视频序列的尺度一致深度推断上展示了 SOTA 结果。我们还展示了从 3D VC 模型中引入的凸起进行真实带蒂与扁平息肉合成的结果。代码/模型：https://github.com/nadeemlab/CEP。
引用
@article{arxiv.2003.12473,
title = {Augmenting Colonoscopy using Extended and Directional CycleGAN for Lossy Image Translation},
author = {Shawn Mathew and Saad Nadeem and Sruti Kumari and Arie Kaufman},
journal= {arXiv preprint arXiv:2003.12473},
year = {2021}
}
备注
CVPR 2020. **First two authors contributed equally to this work