非配对图像到图像翻译中相互促进的内镜图像合成与标志点检测
计算机视觉与模式识别
2021-09-01 v2 人工智能
摘要
CycleGAN 框架允许对非配对数据进行无监督的图像到图像翻译。在基于物理手术模拟器的手术训练场景中，该方法可用于将体模的内镜图像转换为更接近同一手术目标结构术中外观的图像。这可视为一种新颖的增强现实方法，我们在先前工作中称之为超写实（Hyperrealism）。在此用例中，在改变风格为更像组织外观的同时，于两个域中一致地显示如针、缝线和器械等物体至关重要。对这些物体的分割可实现直接迁移，然而，对这些部分微小细薄的前景物体进行勾画繁琐且可能不准确。相反，我们提出在缝线刺入组织处使用标志点检测。该目标通过将以预训练检测器模型性能作为额外优化目标，直接纳入 CycleGAN 框架。我们表明，定义于这些稀疏标志点标签上的任务改善了生成器网络在两个域中合成的一致性。将基线 CycleGAN 架构与我们提出的扩展（DetCycleGAN）比较，平均精度（PPV）提高 +61.32，平均灵敏度（TPR）提高 +37.91，平均 F1 分数提高 +0.4743。此外，可表明通过数据集融合，生成的术中图像可用作检测网络自身的额外训练数据。数据在 AdaptOR MICCAI Challenge 2021 范围内发布于 https://adaptor2021.github.io/，代码发布于 https://github.com/Cardio-AI/detcyclegan_pytorch。
引用
@article{arxiv.2107.06941,
title = {Mutually improved endoscopic image synthesis and landmark detection in unpaired image-to-image translation},
author = {Lalith Sharan and Gabriele Romano and Sven Koehler and Halvar Kelm and Matthias Karck and Raffaele De Simone and Sandy Engelhardt},
journal= {arXiv preprint arXiv:2107.06941},
year = {2021}
}
备注
Accepted for IEEE JBHI 2021, 13 pages, 8 figures, 4 tables