利用 Segment Anything Model 评估医学影像中 GRAD-CAM 的定位能力
图像与视频处理
2023-06-29 v1 计算机视觉与模式识别
摘要
显著性图算法作为评估图像可解释性的一种方法被引入，使得对当前人工智能黑盒模型有了更深入的理解。其流行度的上升导致这些算法被应用于多个领域，包括医学影像。鉴于医学领域分类任务的重要性，亟需对其能力进行严格测试。当前工作通过与人类标注比较，评估显著性图在图像中医学异常上的定位能力。我们提出利用 Segment Anything Model（SAM）来提高此类现有度量的准确性，同时泛化至无需人类标注。我们的结果显示与现有度量高度相似，同时也凸显了该方法超越人类标注的能力。此外，我们探索了 SAM 在医学领域的应用（与挑战），包括分割前的图像预处理、以 CLIP-SAM 形式向 SAM 的自然语言提议，以及 SAM 在多个医学影像数据集上的准确性。
引用
@article{arxiv.2306.15692,
title = {Utilizing Segment Anything Model For Assessing Localization of GRAD-CAM in Medical Imaging},
author = {Evan Kellener and Ihina Nath and An Ngo and Thomas Nguyen and Joshua Schuman and Coen Adler and Arnav Kartikeya},
journal= {arXiv preprint arXiv:2306.15692},
year = {2023}
}
备注
11 pages, 14 figures, 1 table