通过潜变量偏移实现多模态可解释性并应用于COVID-19风险分层
人工智能
2026-03-13 v2 机器学习
摘要
我们正见证人工智能在医疗健康领域的广泛采用。然而，该领域深度学习的多数进展仅考虑单模态数据，忽略了其他模态。其多模态解释对于支持诊断、预后和治疗决策是必要的。本工作中我们提出一种深度架构，利用表格与影像数据联合学习模态重建与样本分类。所采取决策的解释通过施加潜变量偏移计算，该偏移模拟反事实预测，揭示各模态中对决策贡献最大的特征，并给出指示模态重要性的量化分数。我们使用AIforCOVID数据集在COVID-19大流行背景下验证我们的方法，该数据集包含用于早期识别重症结局风险患者的多模态数据。结果显示所提方法提供有意义解释且不降低分类性能。
引用
@article{arxiv.2212.14084,
title = {Multimodal Explainability via Latent Shift applied to COVID-19 stratification},
author = {Valerio Guarrasi and Lorenzo Tronchin and Domenico Albano and Eliodoro Faiella and Deborah Fazzini and Domiziana Santucci and Paolo Soda},
journal= {arXiv preprint arXiv:2212.14084},
year = {2026}
}