生成式 AI 实现极低数据量条件下的医学图像分割
图像与视频处理
2024-09-02 v1 计算机视觉与模式识别
摘要
医学图像的语义分割在疾病诊断和治疗规划等应用中至关重要。尽管深度学习在自动化此任务方面表现出色，但一个主要障碍是需要大量标注的分割掩码，而由于所需的专业知识和时间，制作这些掩码非常耗费资源。这种情况通常导致极低数据量场景，即标注图像极其有限，给传统深度学习方法在测试图像上的泛化带来了重大挑战。为了解决这个问题，我们引入了一个生成式深度学习框架，该框架独特地生成高质量的成对分割掩码和医学图像，作为在数据稀缺环境中训练鲁棒模型的辅助数据。与将数据生成和分割模型训练视为独立过程的传统生成模型不同，我们的方法采用多级优化进行端到端数据生成。这种方法允许分割性能直接影响数据生成过程，确保生成的数据专门针对增强分割模型的性能而定制。我们的方法在跨越各种疾病、器官和成像模态的 9 个不同医学图像分割任务和 16 个数据集上，在极低数据量场景下展示了强大的泛化性能。应用于各种分割模型时，在同域和跨域场景中均实现了 10-20% (绝对值) 的性能提升。值得注意的是，它所需的训练数据比现有方法少 8 到 20 倍即可达到可比的结果。这一进展显著提高了在医学成像中应用深度学习的可行性和成本效益，特别是在数据可用性有限的场景中。
引用
@article{arxiv.2408.17421,
title = {Generative AI Enables Medical Image Segmentation in Ultra Low-Data Regimes},
author = {Li Zhang and Basu Jindal and Ahmed Alaa and Robert Weinreb and David Wilson and Eran Segal and James Zou and Pengtao Xie},
journal= {arXiv preprint arXiv:2408.17421},
year = {2024}
}