摆脱扩散：基于层次到层次自回归的 fMRI 到图像重建
计算机视觉与模式识别
2025-10-28 v1 人工智能
摘要
从fMRI信号重建视觉刺激是连接机器学习和神经科学的核心挑战。最近的扩散方法通常将fMRI活动映射到单个高级嵌入，并在整个生成过程中作为固定指导。然而，这种固定指导会坍缩层次神经信息，与图像重建的阶段性需求不符。为此，我们提出了MindHier——一个基于尺度级自回归建模的粗到细fMRI到图像重建框架。MindHier引入三个组件：用于提取多级神经嵌入的层次fMRI编码器、用于强制层次对应CLIP特征的层次到层次对齐方案，以及用于在匹配尺度注入这些嵌入的尺度感知粗到细神经指导策略。这些设计使MindHier成为扩散方法的高效且认知对齐的替代方案，通过实现类似人类视觉感知的层次重建过程来实现全局语义的综合再细化局部细节。在NSD数据集上的大规模实验表明，MindHier在语义保真度、推理速度（快4.67倍）和确定性结果方面均优于扩散方法基线。
引用
@article{arxiv.2510.22335,
title = {Moving Beyond Diffusion: Hierarchy-to-Hierarchy Autoregression for fMRI-to-Image Reconstruction},
author = {Xu Zhang and Ruijie Quan and Wenguan Wang and Yi Yang},
journal= {arXiv preprint arXiv:2510.22335},
year = {2025}
}