超越注意力热图：多实例学习模型在组织病理学中的更佳解释方法
计算机视觉与模式识别
2026-03-10 v1 机器学习
摘要
多实例学习（MIL）已在计算组织病理学中取得显著进展，后者将来自巨像素全切片图像的大量病块聚合为切片级别的预测。热图广泛用于验证MIL模型并发现组织生物标志物。然而，这些热图的有效性尚未得到充分调查。本文引入一个通用框架，用于无需额外标签评估MIL热图的质量。我们进行大规模基准实验，评估六种解释方法在不同组织病理学任务类型（分类、回归、生存）、MIL模型架构（注意力、Transformer、Mamba）以及病块编码器主干网络（UNI2、Virchow2）中的表现。结果表明，解释质量主要取决于MIL模型架构和任务类型，扰动（Single）、层wise relevance 传播（LRP）和集成梯度（IG）持续优于基于注意力的和基于梯度的显著性热图，而后者常常未反映模型决策机制。我们进一步展示了最佳解释方法的高级能力：（i）我们提供了一个概念证明，表明MIL热图可与bulk基因表达预测模型相关联，以用于生物学验证；（ii）展示了从头颈癌切片中预测人类乔瘤病毒（HPV）感染的不同模型策略。本工作突出了验证MIL热图的重要性，表明改进的可解释性可实现更可靠的模型验证并产生成学洞见，推动数字病理学中可解释人工智能的更广泛采用。我们的代码已提供于公开GitHub存储库：https://github.com/bifold-pathomics/xMIL/tree/xmil-journal
引用
@article{arxiv.2603.08328,
title = {Beyond Attention Heatmaps: How to Get Better Explanations for Multiple Instance Learning Models in Histopathology},
author = {Mina Jamshidi Idaji and Julius Hense and Tom Neuhäuser and Augustin Krause and Yanqing Luo and Oliver Eberle and Thomas Schnake and Laure Ciernik and Farnoush Rezaei Jafari and Reza Vahidimajd and Jonas Dippel and Christoph Walz and Frederick Klauschen and Andreas Mock and Klaus-Robert Müller},
journal= {arXiv preprint arXiv:2603.08328},
year = {2026}
}