生成式扩散模型助力非洲人群胎儿超声图像的零样本分类
图像与视频处理
2024-07-30 v1
摘要
开发用于胎儿超声图像分析的稳健深度学习模型需要全面、高质量的数据集，以便在领域内有效学习数据表示。然而，标记超声图像的稀缺性，尤其是在资源匮乏的环境中，构成了重大挑战。为应对这一挑战，我们利用合成数据来增强深度学习模型的泛化能力。本研究提出了一种基于扩散的方法Fetal Ultrasound LoRA (FU-LoRA)，该方法使用LoRA技术微调潜在扩散模型以生成合成胎儿超声图像。这些合成图像被整合到一个包含真实图像和合成图像的混合数据集中，以提高零样本分类器的性能。我们在来自非洲人群的胎儿超声图像上的实验结果表明，FU-LoRA在零样本分类准确率上比基线方法提高了13.73%。此外，FU-LoRA达到了82.40%的最高准确率、86.54%的最高F1分数和89.78%的最高AUC。这表明FU-LoRA方法在低资源环境下对胎儿超声图像的零样本分类是有效的。我们的代码和数据可在 https://github.com/13204942/FU-LoRA 公开获取。
引用
@article{arxiv.2407.20072,
title = {Generative Diffusion Model Bootstraps Zero-shot Classification of Fetal Ultrasound Images In Underrepresented African Populations},
author = {Fangyijie Wang and Kevin Whelan and Guénolé Silvestre and Kathleen M. Curran},
journal= {arXiv preprint arXiv:2407.20072},
year = {2024}
}
备注
Accepted at MICCAI 2024 workshop PIPPI