DiNO-Diffusion：通过自监督预训练扩展医学扩散模型
计算机视觉与模式识别
2024-07-17 v1 人工智能
机器学习
摘要
扩散模型（DMs）已成为各种任务中强大的基础模型，主要聚焦于合成图像生成。然而，它们需要大量标注数据进行训练，限制了其在医学影像中的应用，因为医学影像数据集通常较小且标注稀疏。我们提出了DiNO-Diffusion，一种用于训练潜在扩散模型（LDMs）的自监督方法，通过来自DiNO提取的图像嵌入来条件化生成过程。通过消除对标注的依赖，我们的训练利用了来自公开胸腔X光（CXR）数据集的86.8万张未标注图像。尽管是自监督的，DiNO-Diffusion在覆盖整个数据分布方面表现出全面的特征，FID分数可低至4.7，并在下游任务中展现出新特性。它可以用于从小数据池生成语义多样化的合成数据集，在分类任务中实现最高20%的AUC提升。图像通过在DiNO嵌入流形上采用不同采样策略生成，并以真实图像为起点。结果表明，DiNO-Diffusion可以促进从有限真实数据创建大规模数据集，以用于训练下游AI模型，同时也有潜在的隐私保护优势。此外，DiNO-Diffusion在胸腔X光肺叶分割中实现了最高84.4%的Dice分数的零样本分割性能。这证明了其CXR图像与解剖结构的良好对齐，类似于在基础扩散模型上使用文本描述进行分割。最后，DiNO-Diffusion可以轻松适配其他医学影像模态或最先进的扩散模型，为医学影像中大规模、多领域图像生成管道开辟了道路。
引用
@article{arxiv.2407.11594,
title = {DiNO-Diffusion. Scaling Medical Diffusion via Self-Supervised Pre-Training},
author = {Guillermo Jimenez-Perez and Pedro Osorio and Josef Cersovsky and Javier Montalt-Tordera and Jens Hooge and Steffen Vogler and Sadegh Mohammadi},
journal= {arXiv preprint arXiv:2407.11594},
year = {2024}
}
备注
12 pages, 5 figures