用于增强基于深度学习的计算病理学可解释性的类别可视化与激活图谱
计算机视觉与模式识别
2026-03-11 v2
摘要
基于Transformer的模型在计算病理学中的快速应用，使得从H&E全切片图像预测分子和临床生物标志物成为可能，但可解释性并未跟上模型复杂性的步伐。虽然归因和生成方法是常见的，但特征可视化方法，如类别可视化(CVs)和激活图谱(AAs)，尚未针对这些模型进行系统评估。我们开发了一个可视化框架，并评估了CVs和AAs在一个基于Transformer的基础模型上，针对组织和多器官癌症分类任务，且标签粒度不断增加。四位病理学家对真实图像和生成图像进行注释，以量化观察者间一致性，并辅以归因和相似性度量。CVs在形态学上不同的组织中保持了可识别性，但对于重叠的癌症子类，其可分离性降低。在组织分类中，一致性从Fleiss k = 0.75（扫描）下降到k = 0.31（CVs），在癌症子类任务中也有类似趋势。AAs揭示了依赖于层的组织：粗粒度的组织级概念形成连贯区域，而更细的子类则表现出分散和重叠。组织分类的一致性为中等(k = 0.58)，粗粒度癌症分组的一致性高(k = 0.82)，而在子类级别一致性低(k = 0.11)。图谱可分离性与专家对真实图像的一致性密切相关，表明表征模糊性反映了内在的病理复杂性。归因度量的近似专家变异性在低复杂度设置中表现良好，而感知和分布度量的对齐有限。总体而言，概念级特征可视化揭示了基于Transformer的病理模型中的结构化形态流形，并为跨标签粒度对学习表征进行以专家为中心的探究提供了一个框架。
引用
@article{arxiv.2603.07170,
title = {Class Visualizations and Activation Atlases for Enhancing Interpretability in Deep Learning-Based Computational Pathology},
author = {Marco Gustav and Fabian Wolf and Christina Glasner and Nic G. Reitsam and Stefan Schulz and Kira Aschenbroich and Bruno Märkl and Sebastian Foersch and Jakob Nikolas Kather},
journal= {arXiv preprint arXiv:2603.07170},
year = {2026}
}