面向胸片图像的语义引导解缝GAN
图像与视频处理
2024-07-24 v1
摘要
胸片图像肋骨分割的标签标注耗时且费力，标注质量高度依赖于注释员的医学知识。为减少对标注数据的依赖，现有工作常利用生成对抗网络(GAN)生成训练数据。但GAN方法忽略了针对不同器官的细微信息，从而降低了胸片图像的生成质量。因此，我们提出一种新型语义引导解缝GAN(SD-GAN)，通过充分利用不同器官的语义信息来生成高质量的训练数据用于胸片图像肋骨分割。具体而言，我们使用三个ResNet50分支来解缝不同器官的特征，然后通过解码器组合特征生成相应图像。为确保生成图像对应输入器官标签的语义，我们采用语义引导模块对生成图像进行语义引导。为评估SD-GAN在生成高质量样本方面的效果，我们引入了修改版TransUNet(MTUNet)，这是一种专为提取多尺度上下文信息和多分支解码而设计的分割网络，有效解决了器官重叠的挑战。我们还提出了新的胸片图像数据集(CXRS)。该数据集包括来自不同医疗机构的1250个样本。对每张胸片图像同时标注了肺脏、肩胛骨和24个肋骨。可视化和定量结果表明，SD-GAN在生成高质量胸片图像-掩码对方面有效。使用生成数据，我们训练的MTUNet克服了数据规模的限制，优于其他分割网络。
引用
@article{arxiv.2407.15903,
title = {Semantics Guided Disentangled GAN for Chest X-ray Image Rib Segmentation},
author = {Lili Huang and Dexin Ma and Xiaowei Zhao and Chenglong Li and Haifeng Zhao and Jin Tang and Chuanfu Li},
journal= {arXiv preprint arXiv:2407.15903},
year = {2024}
}