对齐图像模态中的全局可解释性
计算机视觉与模式识别
2021-12-20 v1 人工智能
摘要
深度学习（DL）模型在许多计算机视觉问题上非常有效，并日益用于关键应用。它们本质上也是黑盒。现有许多方法可生成图像级解释，使从业者能够理解并验证模型对给定图像的预测。除此之外，若能从总体上验证DL模型以合理方式工作，即与领域知识一致且不依赖不良数据伪影，则是可取的。为此，需要对模型进行全局解释。本工作中，我们关注自然对齐的图像模态，其中每个像素位置表示成像物体上相似的相对位置，正如医学影像中常见那样。我们提出图像级解释的像素级聚合作为一种简单方法，以获得按标签及整体的全局解释。这些解释随后可用于模型验证、知识发现，并作为传达由检视图像级解释所得定性结论的高效方式。我们进一步提出渐进擦除加渐进恢复（PEPPR）作为一种定量验证这些全局解释是否忠实于模型预测方式的方法。我们将这些方法应用于超广角视网膜图像这一自然对齐模态。我们发现全局解释与领域知识一致，并忠实反映模型的工作机制。
引用
@article{arxiv.2112.09591,
title = {Global explainability in aligned image modalities},
author = {Justin Engelmann and Amos Storkey and Miguel O. Bernabeu},
journal= {arXiv preprint arXiv:2112.09591},
year = {2021}
}