脑类层次化扩散：基于ROI编码器和视觉映射的fMRI重建
计算机视觉与模式识别
2025-11-17 v1 人机交互
摘要
将人类脑活动映射到自然图像为理解视觉与认知提供了新视角，但当前基于扩散的解码器面临核心难题：大多数条件直接依赖于fMRI特征，却未分析视觉信息在大脑皮层中的组织方式。这忽略了大脑的层次化处理，模糊了早期、中期和后期视觉区的作用。我们提出Hi-DREAM，一种脑类条件扩散框架，使皮层组织结构显式化。区域兴趣 (ROI) 适配器将fMRI分为早期/中期/后期流，转换为与U-Net深度匹配的多尺度皮层金字塔（浅层尺度保留布局与边缘；深层尺度强调物体与语义）。轻量级、深度匹配的ControlNet在去噪过程中注入这些尺度特定的线索。结果是一个高效且可解释的解码器，其中每个信号发挥脑类作用，使模型不仅能重建图像，还能阐明不同视觉区的功能贡献。在自然场景数据集 (NSD) 上的实验表明，Hi-DREAM在高层语义指标上实现了最先进水平，同时保持竞争的低层保真度。这些发现表明，按皮层层次结构构建条件化是纯数据驱动嵌入的强大替代方案，并为研究视觉皮层提供了有用的视角。
引用
@article{arxiv.2511.11437,
title = {Hi-DREAM: Brain Inspired Hierarchical Diffusion for fMRI Reconstruction via ROI Encoder and visuAl Mapping},
author = {Guowei Zhang and Yun Zhao and Moein Khajehnejad and Adeel Razi and Levin Kuhlmann},
journal= {arXiv preprint arXiv:2511.11437},
year = {2025}
}