你在关注什么？多模态医学深度学习中的模态贡献

目的：如今，庞大的深度神经网络可以轻松分析高维多模态数据。人们已经开发了多种融合不同模态的方法。鉴于医学中高维多模态患者数据的普遍存在，多模态模型的开发标志着一项重大进展。然而，这些模型如何详细处理来自单一数据源的信息仍有待深入探索。方法：为此，我们实现了一种与模型和性能无关的基于遮挡的模态贡献方法。该方法定量测量了数据集中每个模态对模型完成其任务的重要性。我们将该方法应用于三个不同的多模态医学问题以进行实验。结果：在此我们发现，一些网络具有倾向于单模态坍缩的模态偏好，而一些数据集从一开始就存在不平衡。此外，我们为每个模态提供了细粒度的定量与视觉属性重要性。结论：我们的指标提供了有价值的见解，可支持多模态模型开发与数据集创建的进展。通过引入这种方法，我们为多模态研究中深度学习的可解释性这一不断发展的领域做出了贡献。该方法有助于促进多模态 AI 融入临床实践。我们的代码已在 https://github.com/ChristianGappGit/MC_MMD 公开。