MindEye2：共享被试模型实现仅需 1 小时数据的 fMRI 到图像重建
计算机视觉与模式识别
2024-06-18 v2 人工智能
神经元与认知
摘要
从大脑活动中重建视觉感知已取得巨大进展，但此类方法的实用性一直有限。这是因为此类模型是针对每个被试独立训练的，而每个被试需要数十小时昂贵的 fMRI 训练数据才能获得高质量结果。本研究展示了仅使用 1 小时 fMRI 训练数据的高质量重建。我们首先跨 7 名被试预训练我们的模型，然后使用新被试的少量数据进行微调。我们新颖的功能对齐流程将所有大脑数据线性映射到共享被试潜在空间，随后通过共享非线性映射到 CLIP 图像空间。然后，我们通过微调 Stable Diffusion XL 以接受 CLIP 潜变量作为输入（而非文本），将其从 CLIP 空间映射到像素空间。该方法改善了在有限训练数据下的跨被试泛化能力，并且与单被试方法相比，获得了最先进的图像检索和重建指标。MindEye2 证明了仅通过一次 MRI 设备扫描即可实现对感知的准确重建。所有代码均可在 GitHub 上获取。
引用
@article{arxiv.2403.11207,
title = {MindEye2: Shared-Subject Models Enable fMRI-To-Image With 1 Hour of Data},
author = {Paul S. Scotti and Mihir Tripathy and Cesar Kadir Torrico Villanueva and Reese Kneeland and Tong Chen and Ashutosh Narang and Charan Santhirasegaran and Jonathan Xu and Thomas Naselaris and Kenneth A. Norman and Tanishq Mathew Abraham},
journal= {arXiv preprint arXiv:2403.11207},
year = {2024}
}
备注
In Forty-first International Conference on Machine Learning, 2024. Code at https://github.com/MedARC-AI/MindEyeV2. Published as a conference paper at ICML 2024