NSD-Imagery：用于扩展fMRI视觉解码方法至精神图像的基准数据集

我们发布NSD-Imagery，一个人类fMRI活动与精神图像配对的基准数据集，以补充现有的自然场景数据集（NSD），后者是一个大规模fMRI活动与已见图像配对的数据集，推动了fMRI到图像重建取得了前所未有的进展。最近的模型仅在已见图像重建上进行评估。使用NSD-Imagery，可以评估这些模型在精神图像重建方面的表现。这是一个具有挑战性的泛化要求，因为精神图像在人类脑活动中编码的信噪比和空间分辨率相对较低；然而，从已见到精神图像的泛化对于医疗领域和脑机接口等实际应用至关重要，因为所需信息始终是内部生成的。我们为一系列最新在NSD上训练的开源视觉解码模型（MindEye1、MindEye2、Brain Diffuser、iCNN、Takagi等）在NSD-Imagery上提供基准测试，显示解码方法在精神图像上的表现与在视觉重建上的表现 largely 脱钩。我们进一步证明，架构选择对跨解码性能影响显著：采用简单线性解码架构和多模态特征解码的模型在精神图像上更好地泛化，而复杂的架构倾向于过拟合视觉训练数据。我们的发现表明，精神图像数据集对于开发实际应用至关重要，并将NSD-Imagery确立为更好地实现这一目标的有用资源。