基于视觉与文本提示扩散模型提升皮肤镜病灶分割性能
计算机视觉与模式识别
2023-10-05 v1 人工智能
摘要
图像合成方法，例如生成对抗网络（generative adversarial networks, GAN），作为医学图像分析任务中一种数据增强形式已颇为流行。其主要益处在于克服公开可用数据及其质量标注的短缺。然而，现有技术往往缺乏对生成图像中细节内容的控制，例如疾病模式类型、病灶位置以及诊断属性。在本工作中，我们借助生成模型的最新进展，即扩散模型（diffusion model），并引入基于病灶特定视觉与文本提示的控制流，用于生成皮肤镜图像。我们进一步展示了我们基于扩散模型的框架在图像质量以及提升皮肤病灶分割性能方面相对于经典生成模型的优势。其可在结构相似性指数（SSIM）图像质量度量上实现 9% 的提升，并在 Dice 系数上较先前方法获得超过 5% 的提升。
引用
@article{arxiv.2310.02906,
title = {Boosting Dermatoscopic Lesion Segmentation via Diffusion Models with Visual and Textual Prompts},
author = {Shiyi Du and Xiaosong Wang and Yongyi Lu and Yuyin Zhou and Shaoting Zhang and Alan Yuille and Kang Li and Zongwei Zhou},
journal= {arXiv preprint arXiv:2310.02906},
year = {2023}
}
备注
10 pages, 4 figures