SkinDualGen：用于皮肤病变中同步图像-掩码生成的提示驱动扩散模型
图像与视频处理
2025-07-29 v1 计算机视觉与模式识别
机器学习
摘要
医学图像分析在皮肤病变等疾病的早期诊断中起着关键作用。然而，数据稀缺和类别不平衡严重阻碍了深度学习模型的性能。我们提出了一种新颖的方法，利用预训练的Stable Diffusion-2.0模型生成高质量的合成皮肤病变图像和相应的分割掩码。这种方法增强了用于分类和分割任务的训练数据集。我们通过领域特定的低秩自适应（LoRA）微调和多目标损失函数的联合优化来适配Stable Diffusion-2.0，使模型能够基于文本描述在单一步骤中同时生成临床相关的图像和分割掩码。实验结果表明，由FID分数验证的生成图像在质量上与真实图像非常接近。结合真实和合成数据的混合数据集显著提升了分类和分割模型的性能，在准确率和F1分数上实现了8%到15%的显著提升，并且在Dice系数和IoU等其他关键指标上也取得了额外的积极增益。我们的方法为解决医学成像数据挑战提供了一个可扩展的解决方案，有助于提高罕见疾病诊断的准确性和可靠性。
引用
@article{arxiv.2507.19970,
title = {SkinDualGen: Prompt-Driven Diffusion for Simultaneous Image-Mask Generation in Skin Lesions},
author = {Zhaobin Xu},
journal= {arXiv preprint arXiv:2507.19970},
year = {2025}
}