可解释多模态融合网络揭示大脑认知机制
神经元与认知
2020-06-18 v1 计算机视觉与模式识别
机器学习
图像与视频处理
摘要
多模态融合通过提供更全面的视角而有益于疾病诊断。由于数据异质性以及复杂的模态内与模态间关联，算法开发具有挑战性。基于深度网络的数据融合模型已被开发以捕捉复杂关联，诊断性能随之提升。除诊断预测外，疾病机制的评估对生物医学研究至关重要。然而，基于深度网络的数据融合模型难以解释，给生物机制研究带来困难。本工作中，我们开发了一种可解释多模态融合模型，即 gCAM-CCL，可同时实现自动诊断与结果解释。gCAM-CCL 模型能生成可解释的激活图，量化输入特征在像素级的贡献。这是通过利用基于梯度的权重结合中间特征图实现的。此外，所估计的激活图是类特定的，捕捉的跨数据关联与兴趣/标签相关，进一步促进了类特定分析与生物机制分析。我们在脑影像-遗传研究中验证 gCAM-CCL 模型，表明其在分类与机制分析上均表现良好。机制分析提示，在任务态 fMRI 扫描期间，若干物体识别相关感兴趣区（ROIs）先被激活，随后若干下游编码 ROIs 参与。结果还提示，较高认知表现组可能具有更强的神经传导信号，而较低认知表现组可能因遗传变异导致脑/神经元发育问题。
引用
@article{arxiv.2006.09454,
title = {Interpretable multimodal fusion networks reveal mechanisms of brain cognition},
author = {Wenxing Hu and Xianghe Meng and Yuntong Bai and Aiying Zhang and Biao Cai and Gemeng Zhang and Tony W. Wilson and Julia M. Stephen and Vince D. Calhoun and Yu-Ping Wang},
journal= {arXiv preprint arXiv:2006.09454},
year = {2020}
}