ZEBRA：面向零样本跨主体通用脑视觉解码的框架

近期神经解码技术的进展使得从脑活动重建视觉体验成为可能，将 fMRI 到图像的重建被视为神经科学与计算机视觉之间具有潜力的桥梁。然而，当前方法主要依赖主体特定模型或需要主体特定的微调，限制了其可扩展性和实际应用价值。本文引入 ZEBRA，这是第一个无需主体特定适应的零样脑视觉解码框架。ZEBRA 基于 fMRI 表示可分解为主体相关成分和语义相关成分这一关键洞察构建。通过对抗训练，本方法显式地解耦这些成分，以隔离主体不变的、语义特定的表示。这种解耦使得 ZEBRA 能够在无需任何额外 fMRI 数据或重新训练的情况下推广到不可见的主体。大量实验表明，ZEBRA 在多个指标上均显著优于零样本基线，并在性能上与完全微调的模型相当。我们的工作代表了通用神经解码的一个可扩展且实用的步骤。代码和模型权重可在 https://github.com/xmed-lab/ZEBRA 获取。