一张图并不适用所有情况：多模态医学图像上显著性图解释方法的评估
计算机视觉与模式识别
2021-07-13 v1 机器学习
摘要
能够向临床终端用户解释预测，是利用 AI 模型进行临床决策支持的必要条件。对于医学图像，显著性图是最常见的解释形式。这些图突出显示 AI 模型预测的重要特征。尽管已提出许多显著性图方法，但尚不清楚它们在解释多模态医学图像决策上的表现如何，其中每个模态/通道承载同一底层生物医学现象的不同临床含义。理解这种模态依赖特征对于临床用户解读 AI 决策至关重要。为解决这一临床重要但技术上被忽视的问题，我们提出 MSFI（模态特定特征重要性，Modality-Specific Feature Importance）指标，用以检验显著性图是否能突出模态特定的重要特征。MSFI 编码了关于模态优先级排序与模态特定特征定位的临床要求。我们对 16 种常用显著性图方法（包括一项临床医生用户研究）的评估表明，尽管大多数显著性图方法总体上捕捉到了模态重要性信息，但大多数未能一致且精确地突出模态特定的重要特征。评估结果指导了显著性图方法的选择，并为提出面向临床应用的新方法提供了见解。
引用
@article{arxiv.2107.05047,
title = {One Map Does Not Fit All: Evaluating Saliency Map Explanation on Multi-Modal Medical Images},
author = {Weina Jin and Xiaoxiao Li and Ghassan Hamarneh},
journal= {arXiv preprint arXiv:2107.05047},
year = {2021}
}