基于深度学习的组水平脑解码

脑成像数据的解码正日益受到关注，其在脑机接口和神经表征研究中具有应用价值。由于受试者间变异性高，解码通常是特定于受试者的，且对受试者泛化能力较差。克服这一问题的方法不仅将提供更丰富的神经科学见解，还将使组水平模型有可能超越特定受试者模型。在此，我们提出一种使用受试者嵌入（subject embedding，类似于自然语言处理中的词嵌入）的方法，以在解码模型（我们对 WaveNet 架构用于分类的改编）中学习并利用受试者间变异性的结构。我们将其应用于脑磁图（magnetoencephalography）数据，其中 15 名受试者观看了 118 张不同图像，每张图像有 30 个样本；利用图像呈现后整个 1 秒时间窗对图像进行分类。我们表明，深度学习与受试者嵌入的结合对于缩小受试者与组水平解码模型之间的性能差距至关重要。重要的是，组模型在低精度受试者上优于受试者模型（尽管对高精度受试者略有损害），并可有助于初始化受试者模型。虽然我们总体上未发现组水平模型优于受试者水平模型，但预计随着数据集增大，组建模的性能会更高。为了在组水平提供生理学解释，我们利用了排列特征重要性（permutation feature importance）。这提供了对模型中编码的时空与频谱信息的洞察。所有代码可在 GitHub 获取（https://github.com/ricsinaruto/MEG-group-decode）。