使用文本概念解释胸部X光病理模型
计算机视觉与模式识别
2024-10-24 v2
摘要
深度学习模型已彻底变革了医学影像和诊断，但其不透明的本质仍是临床采纳和信任的挑战。在提高模型可解释性的方法中，概念基方法旨在提供任意分类器的简洁且易于人类理解的解释。然而，这些方法通常需要大量手动收集的带有概念注释的数据，而在医学领域这类数据往往稀缺。本文提出了针对胸部X光的概念性反事实解释方法（CoCoX），该方法利用现有视觉语言模型（VLM）的联合嵌入空间来解释黑箱分类器的结果，无需注释数据集。具体而言，我们利用来自胸部放射学报告的文本概念以及预训练的胸部放射学VLM来解释三种常见的心胸解剖病变。我们展示了我们方法生成的解释在语义上具有意义，并且忠实于底层病变。
引用
@article{arxiv.2407.00557,
title = {Explaining Chest X-ray Pathology Models using Textual Concepts},
author = {Vijay Sadashivaiah and Pingkun Yan and James A. Hendler},
journal= {arXiv preprint arXiv:2407.00557},
year = {2024}
}
备注
Accepted at NeurIPS'24 workshop on Advancements In Medical Foundation Models: Explainability, Robustness, Security, and Beyond (AIM-FM)