中文

PRISM:基于语言引导的高分辨率精准医学图像反事实生成

计算机视觉与模式识别 2025-07-23 v2 人工智能

摘要

开发可靠且可泛化的医学成像深度学习系统面临着显著挑战,包括虚假关联、数据不平衡以及数据集中有限的文本标注。针对这些挑战,需要具备对医学成像数据独特复杂性具有鲁棒性的架构。自然图像领域中视觉语言基础模型的快速进展引出了一个问题:它们如何适用于医学成像任务。在本工作中,我们提出了PRISM框架,利用基础模型生成高分辨率、语言引导的医学图像反事实图像。我们的方法在有针对性地修改虚假关联(医疗设备)和疾病特征方面实现了前所未有的精度,使能够在保留其他图像特征的同时添加和移除特定属性。通过广泛的评估,我们展示了PRISM如何推动反事实生成,并 enables the development of more robust downstream classifiers for clinically deployable solutions. 为促进更广泛的采用和研究,我们在 https://github.com/Amarkr1/PRISM 公开代码。

关键词

引用

@article{arxiv.2503.00196,
  title  = {PRISM: High-Resolution & Precise Counterfactual Medical Image Generation using Language-guided Stable Diffusion},
  author = {Amar Kumar and Anita Kriz and Mohammad Havaei and Tal Arbel},
  journal= {arXiv preprint arXiv:2503.00196},
  year   = {2025}
}

备注

MIDL 2025