Derm-T2IM：利用稳定扩散模型合成皮肤病变数据，结合 ViT 与 CNN 增强皮肤病分类
计算机视觉与模式识别
2025-01-17 v1 人工智能
摘要
本研究探索利用通过稳定扩散模型生成的皮肤镜合成数据，作为增强机器学习模型训练鲁棒性的策略。合成数据生成在缓解标注数据集有限的挑战中起着关键作用，从而促进更有效的模型训练。在此背景下，我们旨在通过扩展最近在小样本学习和文本到图像潜在扩散模型中少量数据表示方面的成功，融入增强的数据变换技术。经过最优调优的模型进一步用于渲染具有多样且逼真特征的高质量皮肤病变合成数据，为现有训练数据提供有价值的补充和多样性。我们研究了将新生成的合成数据纳入当前最先进机器学习模型训练流程的影响，评估其在增强模型性能和对未见真实世界数据泛化能力方面的有效性。我们的实验结果表明，通过稳定扩散模型生成的合成数据有助于提升端到端 CNN 和视觉 Transformer 模型在两个不同真实世界皮肤病变数据集上的鲁棒性和适应性。
引用
@article{arxiv.2401.05159,
title = {Derm-T2IM: Harnessing Synthetic Skin Lesion Data via Stable Diffusion Models for Enhanced Skin Disease Classification using ViT and CNN},
author = {Muhammad Ali Farooq and Wang Yao and Michael Schukat and Mark A Little and Peter Corcoran},
journal= {arXiv preprint arXiv:2401.05159},
year = {2025}
}
备注
Paper is submitted in EMBC 2024 Conference