利用生成式AI探究医学影像模型与数据集

AI模型在许多医学影像任务中已展现出前景。然而，我们解释这些模型所学信号的能力严重缺乏。为了增加对基于AI模型的信任，需要解释，并且可以通过揭示数据中专家尚不知晓的信号来实现新颖的科学发现。在本文中，我们通过生成关于图像中哪些视觉信号与任务相关的假设，提出一种利用团队专业知识的自动视觉解释方法。我们提出以下4个步骤：（i）训练分类器执行给定任务（ii）训练分类器引导的基于StyleGAN的图像生成器（StylEx）（iii）自动检测并可视化分类器敏感的前几位视觉属性（iv）阐述潜在机制的假设，以刺激未来研究。具体而言，我们将发现的属性呈现给跨学科专家小组，以使假设能考量健康的社会和结构决定因素。我们在三种医学影像模态上的八项预测任务展示了结果：视网膜眼底照片、眼外部照片和胸部X光片。我们展示了捕捉临床已知特征、源于超越生理机制因素的混杂因素以及揭示若干生理上合理的新属性的例子。我们的方法有潜力使研究者更好地理解、改进其评估并从基于AI的模型中提取新知识。重要的是，我们强调由我们框架生成的属性可捕捉超越生理或病理生理学的现象，反映了医疗服务的现实世界性质和社会文化因素。最后，我们打算发布代码以使研究者能够训练他们自己的StylEx模型并分析其预测任务。