解释多模态预测模型的特征重要性：临床应用案例
机器学习
2024-04-30 v1
摘要
治疗老年髋部骨折患者的手术可能会引发并发症，导致早期死亡。并发症的早期预警系统可以促使临床医生更仔细地监测高危患者并及早处理潜在并发症，或告知患者。在本工作中，我们利用老年髋部骨折患者的术前和术中数据，开发了一个用于术后死亡率预测的多模态深度学习模型。具体而言，我们在术前数据中包含了静态患者数据、术前髋部和胸部图像，在术中数据中包含了生命体征和术中给药。我们使用 ResNet 从图像模态中提取特征，使用 LSTM 从生命体征中提取特征。可解释的模型结果对于临床适用性至关重要，因此我们计算了 Shapley 值来解释我们的多模态黑盒模型的预测。我们发现：i) Shapley 值可用于在局部和全局估计每个模态的相对贡献；ii) 修改版的链式法则可用于在一系列模型中传播 Shapley 值，从而支持可解释的局部解释。我们的研究结果表明，通过在模型序列中传播 Shapley 值，可以解释黑盒模型的多模态组合。
引用
@article{arxiv.2404.18631,
title = {Feature importance to explain multimodal prediction models. A clinical use case},
author = {Jorn-Jan van de Beld and Shreyasi Pathak and Jeroen Geerdink and Johannes H. Hegeman and Christin Seifert},
journal= {arXiv preprint arXiv:2404.18631},
year = {2024}
}
备注
Accepted at World Conference on Explainable Artificial Intelligence; 19 pages, 2 figures, 7 tables