MultiFIX：一种面向可解释人工智能的多模态数据特征诱导建模方法

在医疗领域，决策往往基于不同的数据模态。因此，在创建预测模型时，能够从不同数据模态中提取并结合相关特征的多模态融合方法可能非常有益。此外，理解每种模态如何影响最终预测至关重要，特别是在高风险领域，以便以可信和负责任的方式使用这些模型。我们提出了 MultiFIX：一种新的专注于可解释性的多模态数据融合流程，它显式地从不同数据类型中诱导分离的特征，随后可将这些特征组合以做出最终预测。我们使用端到端深度学习架构来训练预测模型并提取每种模态的代表性特征。然后利用可解释人工智能（XAI）技术对模型的每个部分进行解释。注意力图用于突出图像输入中的重要区域。 inherently interpretable 符号表达式（通过 GP-GOMEA 学习）用于描述表格输入的贡献。提取特征的融合以预测目标标签的过程也被替换为通过 GP-GOMEA 学习的符号表达式。在合成问题上的结果展示了 MultiFIX 的优势与局限性。最后，我们将 MultiFIX 应用于一个公开可用的数据集，用于检测恶性皮肤病变。