Brain-IT：基于脑互动转换器的 fMRI 图像重建
计算机视觉与模式识别
2026-03-03 v2 人工智能
神经元与认知
摘要
从 fMRI 大脑记录中重建看到的图像为人类大脑提供了一个非侵入性窗口。尽管近期进展通过扩散模型实现，但当前方法常常缺乏对实际看到的图像的忠实度。我们提出了 Brain-IT 方法，通过脑互动转换器（BIT）解决了这一挑战，使其能够有效地在功能相似的脑区簇之间进行交互。这些功能簇被所有受试者共享，作为集成信息在簇内和跨脑中的构建块。所有模型组件均被所有簇和受试者共享，允许使用有限的数据进行高效训练。为引导图像重建，BIT 预测两种补充的局部 patch 级别图像特征：(i) 高层语义特征将扩散模型引导 toward 正确的语义内容；(ii) 低层结构特征有助于用正确的粗略布局初始化扩散过程。BIT 的设计使信息能够直接从脑区簇流向局部化图像特征。通过这些原则，我们的方法实现了从 fMRI 重建的图像能够忠实重建看到的图像，并在视觉和标准客观指标方面超越当前 SOTA 方法。此外，仅用 1 小时的 fMRI 数据来自新受试者，我们即可实现与当前方法在完整 40 小时记录上相当的结果。
引用
@article{arxiv.2510.25976,
title = {Brain-IT: Image Reconstruction from fMRI via Brain-Interaction Transformer},
author = {Roman Beliy and Amit Zalcher and Jonathan Kogman and Navve Wasserman and Michal Irani},
journal= {arXiv preprint arXiv:2510.25976},
year = {2026}
}
备注
Accepted at ICLR 2026