Pictorial Cortex：基于组合潜在建模的零样本跨被试 fMRI 到图像重建
计算机视觉与模式识别
2026-01-22 v1
摘要
从人类大脑活动中解码视觉体验仍然是神经科学、神经影像学和人工智能交叉领域的一个核心挑战。一个关键障碍是皮层响应的固有变异性：由于解剖、功能、认知和实验因素，同一视觉刺激在不同个体和试验中诱发的神经活动不同，使得 fMRI 到图像的重建具有非单射性。在本文中，我们处理了一个具有挑战性但实际有意义的问题：零样本跨被试 fMRI 到图像重建，即必须在没有特定被试训练的情况下重建先前未见个体的视觉体验。为了进行有原则的评估，我们提出了一个统一的皮层表面数据集——UniCortex-fMRI，该数据集由多个视觉刺激 fMRI 数据集组装而成，以提供对被试和刺激的广泛覆盖。我们的 UniCortex-fMRI 经过标准化数据格式的特殊处理，使得在跨被试 fMRI 到图像重建的零样本场景中探索这种可能性成为可能。为了应对建模挑战，我们提出了 PictorialCortex，它使用组合潜在公式对 fMRI 活动进行建模，在受试者、数据集和试验相关变异性下构建刺激驱动的表示。PictorialCortex 在一个通用的皮层潜在空间中运行，并通过潜在分解-组合模块实现这一公式，该模块由成对分解和再分解一致性正则化进行强化。在推理过程中，聚合在多个已见被试条件下合成的替代潜在变量，以指导未见被试的基于扩散的图像合成。大量实验表明，PictorialCortex 改进了零样本跨被试视觉重建，突出了组合潜在建模和多数据集训练的好处。
引用
@article{arxiv.2601.15071,
title = {The Pictorial Cortex: Zero-Shot Cross-Subject fMRI-to-Image Reconstruction via Compositional Latent Modeling},
author = {Jingyang Huo and Yikai Wang and Yanwei Fu and Jianfeng Feng},
journal= {arXiv preprint arXiv:2601.15071},
year = {2026}
}