SHAP-CAT：基于虚拟染色和Shapley值多模态融合的可解释多模态框架提升WSI分类
计算机视觉与模式识别
2024-10-03 v1
摘要
多模态模型在组织病理学中已显示出前景。然而，大多数多模态模型基于H&E和基因组数据，采用日益复杂且黑箱化的设计。在本文中，我们提出一种新型可解释多模态框架，命名为SHAP-CAT，其使用Shapley值方法进行维度约简，以实现有效的多模态融合。我们以两种配对模态——H&E和IHC图像为起点，运用虚拟染色技术通过生成新的临床相关模态来增强有限的输入数据。从图像模态提取轻量级的样本级别表示，并使用Shapley值方法进行维度约简。对于每个样本级别表示的维度，计算归因值，以指示特定输入维度变化对模型输出产生的影响。如此一来，我们为每个图像模态选择最重要的几个样本级别表示维度进行晚期融合。我们的实验结果表明，所提出的SHAP-CAT框架在包含合成模态后显著提升了模型性能，BCI数据集的准确率提高了5%，IHC4BC-ER数据集提高了8%，IHC4BC-PR数据集提高了11%。
引用
@article{arxiv.2410.01408,
title = {SHAP-CAT: A interpretable multi-modal framework enhancing WSI classification via virtual staining and shapley-value-based multimodal fusion},
author = {Jun Wang and Yu Mao and Nan Guan and Chun Jason Xue},
journal= {arXiv preprint arXiv:2410.01408},
year = {2024}
}