受认知过程启发的主旨无关脑视觉解码架构

主旨无关脑解码旨在从 fMRI 数据中重建连续视觉体验，无需针对特定受试者进行训练，具有巨大的临床应用潜力。然而，由于跨受试者泛化的挑战以及脑信号的复杂性，这一方向仍未得到充分探索。本文提出了 Visual Cortex Flow Architecture (VCFlow)，一种新型的分层解码框架，显式地建模了人类视觉系统的 ventral-dorsal 结构，以学习多维表征。通过解缠和利用来自早期视觉皮层、ventral 流和 dorsal 流的特征，VCFlow 捕获了视觉重构所必需的多样化且互补的认知信息。此外，我们引入了特征级对比学习策略，以增强对主旨无关语义表征的提取，从而提升其对以前未见过的受试者的适用性。与需要超过 12 小时 per-受试者数据和大量计算的常规流程不同，VCFlow 仅牺牲平均 7% 的准确率，却能在 10 秒内生成每个重建视频，无需任何重新训练，提供了一个快速且临床可扩展的解决方案。本文将在论文被接受后公开源代码。