基于掩码条件的潜在扩散模型用于生成胃肠道息肉图像
图像与视频处理
2023-04-12 v1 计算机视觉与模式识别
机器学习
摘要
为了在内镜诊断中利用 AI 解决方案，我们必须克服标注有限的问题。这些限制源于医疗领域的高隐私顾虑，以及需要借助专家进行耗时且昂贵的医疗数据标注过程。在计算机视觉中，由于生成对抗网络（GAN）与扩散概率模型（DPM）的进展，图像合成近年来做出了重大贡献。新型 DPM 已在文本、图像与视频生成任务中超越 GAN。因此，本研究提出一种条件 DPM 框架，以给定生成的分割掩码为条件生成合成胃肠道（GI）息肉图像。我们的实验结果表明，我们的系统能生成无限数量的高保真合成息肉图像及其对应的息肉真值掩码。为测试生成数据的有用性，我们训练了二值图像分割模型以研究使用合成数据的效果。结果表明，当训练数据由真实数据与合成数据共同构成时，DeepLabv3+ 取得了最佳的 micro-imagewise IOU 0.7751。然而，结果反映出，利用合成数据取得良好分割性能在很大程度上依赖于模型架构。
引用
@article{arxiv.2304.05233,
title = {Mask-conditioned latent diffusion for generating gastrointestinal polyp images},
author = {Roman Macháček and Leila Mozaffari and Zahra Sepasdar and Sravanthi Parasa and Pål Halvorsen and Michael A. Riegler and Vajira Thambawita},
journal= {arXiv preprint arXiv:2304.05233},
year = {2023}
}