多域内窥镜图像中的半监督膀胱组织分类
图像与视频处理
2023-03-20 v2 计算机视觉与模式识别
机器学习
摘要
目的：在经尿道膀胱肿瘤切除术（TURBT）过程中对膀胱组织进行准确的视觉分类，对于改善早期癌症诊断和治疗至关重要。在 TURBT 介入操作中，白光成像（WLI）和窄带成像（NBI）技术被用于病灶检测。每种成像技术提供不同的视觉信息，使临床医生能够识别和分类癌性病灶。结合这两种成像技术的计算机视觉方法有望改善内窥镜诊断。我们致力于解决仅在一个域（本文中为 WLI）中存在标注，且内窥镜图像构成非配对数据集（即 NBI 和 WLI 两个域中并非每张图像都有精确对应项）时的组织分类挑战。方法：我们提出了一种基于生成对抗网络（GAN）的半监督方法，该方法由三个主要组件构成：在带标注的 WLI 数据上训练的教师网络；用于执行非配对图像到图像转换的循环一致性 GAN；以及一个多输入学生网络。为了确保所提出的 GAN 生成的合成图像的质量，我们在专家的协助下进行了详细的定量和定性分析。结论：所提出的方法在组织分类中获得的总体平均分类准确率、精确率和召回率分别为 0.90、0.88 和 0.89，而在无标注域（NBI）中获得的相同指标分别为 0.92、0.64 和 0.94。生成图像的质量足够可靠，甚至能够以假乱真欺骗专家。意义：本研究展示了在多域数据中标注受限时，使用基于 GAN 的半监督膀胱组织分类的潜力。数据集可在 https://zenodo.org/record/7741476#.ZBQUK7TMJ6k 获取。
引用
@article{arxiv.2212.11375,
title = {Semi-supervised Bladder Tissue Classification in Multi-Domain Endoscopic Images},
author = {Jorge F. Lazo and Benoit Rosa and Michele Catellani and Matteo Fontana and Francesco A. Mistretta and Gennaro Musi and Ottavio de Cobelli and Michel de Mathelin and Elena De Momi},
journal= {arXiv preprint arXiv:2212.11375},
year = {2023}
}
备注
Title and abstract updated. Typos corrected