使用 StyleGAN 对医学图像深度学习模型进行视觉可解释性分析
图像与视频处理
2021-01-20 v1 计算机视觉与模式识别
摘要
随着基于 AI 的医疗设备越来越多地出现在放射学和组织学等成像领域，底层预测模型的可解释性对于扩大其在临床实践中的使用至关重要。现有的基于热图的可解释性方法（如 GradCAM）仅突出预测特征的位置，却不解释它们如何对预测做出贡献。本文提出一种新的可解释性方法，可用于理解任意黑盒模型在图像上的预测，通过展示输入图像将如何被修改以产生不同的预测。在医学图像上训练一个 StyleGAN 以提供潜向量与图像之间的映射。我们的方法识别潜空间中的最优方向以产生模型预测的变化。通过将输入图像的潜表示沿该方向偏移，我们可以生成一系列具有改变后预测的新合成图像。我们在组织学和放射学图像上验证了我们的方法，并展示了其提供比 GradCAM 热图信息更丰富的有意义解释的能力。我们的方法揭示了模型学习到的模式，使临床医生能够建立对模型预测的信任、发现新的生物标志物并最终揭示潜在的偏差。
引用
@article{arxiv.2101.07563,
title = {Using StyleGAN for Visual Interpretability of Deep Learning Models on Medical Images},
author = {Kathryn Schutte and Olivier Moindrot and Paul Hérent and Jean-Baptiste Schiratti and Simon Jégou},
journal= {arXiv preprint arXiv:2101.07563},
year = {2021}
}
备注
Accepted for oral session of Medical Imaging meets NeurIPS 2020 workshop: http://www.cse.cuhk.edu.hk/~qdou/public/medneurips2020/70_neurips2020_cameraready_opt.pdf