SynBrain：通过概率表征学习增强视觉到fMRI的合成
机器学习
2025-11-04 v3 计算机视觉与模式识别
图像与视频处理
摘要
破译视觉刺激如何转化为皮层反应是计算神经科学中的一个根本性挑战。这种视觉到神经的映射本质上是一种一对多的关系，因为相同的视觉输入在不同试验、情境和受试者中可靠地引发可变的血流动力学反应。然而，现有的确定性方法难以在捕捉编码刺激信息的潜在功能一致性的同时，对这种生物变异性进行建模。为了解决这些局限性，我们提出了 SynBrain，这是一个生成式框架，以概率且生物学可解释的方式模拟从视觉语义到神经反应的转换。SynBrain 引入了两个关键组件：(i) BrainVAE 通过概率学习将神经表征建模为连续概率分布，同时通过视觉语义约束保持功能一致性；(ii) 语义到神经映射器充当语义传输通路，将视觉语义投影到神经反应流形中，以促进高保真度的功能磁共振成像合成。实验结果表明，SynBrain 在特定受试者的视觉到fMRI编码性能上超越了最先进的方法。此外，SynBrain 能够利用少量数据高效地适应新受试者，并合成高质量的fMRI信号，这些信号能有效提升数据受限条件下的fMRI到图像解码性能。除此之外，SynBrain 揭示了跨试次和跨受试者的功能一致性，其合成信号捕捉到了由生物神经变异性塑造的可解释模式。我们的代码可在 https://github.com/MichaelMaiii/SynBrain 获取。
引用
@article{arxiv.2508.10298,
title = {SynBrain: Enhancing Visual-to-fMRI Synthesis via Probabilistic Representation Learning},
author = {Weijian Mai and Jiamin Wu and Yu Zhu and Zhouheng Yao and Dongzhan Zhou and Andrew F. Luo and Qihao Zheng and Wanli Ouyang and Chunfeng Song},
journal= {arXiv preprint arXiv:2508.10298},
year = {2025}
}
备注
Accepted by NeurIPS 2025