注意力模块提升 4D fMRI 解码神经网络的性能与可解释性
图像与视频处理
2021-10-05 v1 计算机视觉与模式识别
摘要
从神经影像信号解码大脑认知状态是神经科学中的重要课题。近年来，深度神经网络（DNNs）已被用于多种大脑状态解码并取得了良好性能。然而，如何解释 DNN 黑箱这一开放问题仍待解答。借助机器学习进展，我们将注意力模块集成到大脑解码器中，以促进对 DNN 通道的深入解释。还引入了 4D 卷积操作以提取 fMRI 信号内的时空交互。实验表明，所提模型在来自 Human Connectome Project（HCP）数据集的 7 个不同任务基准上获得了极高准确率（97.4%）并优于以往研究。可视化分析进一步说明了任务特异性掩码随网络深度而层次化涌现。最后，该模型被分别重新训练以回归 HCP 中的个体特质并分类来自 BOLD5000 数据集的观看图像。迁移学习也取得了良好性能。进一步的可视化分析显示，迁移学习后，低层注意力掩码与源域保持相似，而高层注意力掩码发生自适应改变。总之，所提带注意力模块的 4D 模型表现良好并促进了 DNN 的解释，有助于后续研究。
引用
@article{arxiv.2110.00920,
title = {Attention module improves both performance and interpretability of 4D fMRI decoding neural network},
author = {Zhoufan Jiang and Yanming Wang and ChenWei Shi and Yueyang Wu and Rongjie Hu and Shishuo Chen and Sheng Hu and Xiaoxiao Wang and Bensheng Qiu},
journal= {arXiv preprint arXiv:2110.00920},
year = {2021}
}