基于新型结构感知图像转换的内窥镜分割中的仿真到真实迁移
计算机视觉与模式识别
2025-05-06 v1
摘要
内窥镜图像中解剖标志的自动分割可以为医生和外科医生的诊断、治疗或医学培训提供辅助。然而，获取训练常用监督学习方法所需的标注是一项繁琐且困难的任务，尤其是对于真实图像而言。虽然合成数据更容易获得真实标注，但在此类数据上训练的模型通常难以很好地泛化到真实数据。生成式方法可以为其添加逼真的纹理，但难以保持原始场景的结构。本文的主要贡献是一种新颖的图像转换模型，该模型在保持关键场景布局信息的同时，为模拟内窥镜图像添加逼真的纹理。我们的方法在不同的内窥镜场景中生成了逼真的图像。我们证明，这些图像可以有效地用于成功训练一个具有挑战性的终端任务模型，而无需任何真实标注数据。具体而言，我们展示了该方法在结肠镜图像中皱襞分割任务上的应用。皱襞是关键解剖标志，可能遮挡部分结肠黏膜和可能的息肉。我们的方法在图像风格转换后，生成的逼真图像能比现有方法更好地保持原始皱襞的形状和位置。我们在一个用于皱襞分割的新型模拟数据集和来自 EndoMapper (EM) 数据集的真实数据上进行了实验。我们所有新生成的数据和新的 EM 元数据都将发布，以促进进一步的研究，因为目前尚无用于皱襞分割任务的公开基准。
引用
@article{arxiv.2505.02654,
title = {Sim2Real in endoscopy segmentation with a novel structure aware image translation},
author = {Clara Tomasini and Luis Riazuelo and Ana C. Murillo},
journal= {arXiv preprint arXiv:2505.02654},
year = {2025}
}