重建心灵之眼：基于对比学习与扩散先验的fMRI到图像生成
计算机视觉与模式识别
2023-10-10 v2 人工智能
神经元与认知
摘要
我们提出MindEye，一种新颖的fMRI到图像方法，用于从大脑活动中检索并重建所观看的图像。我们的模型包含两个并行子模块，分别专用于检索（使用对比学习）与重建（使用扩散先验）。MindEye可将fMRI大脑活动映射到任意高维多模态潜空间，如CLIP图像空间，从而能够使用接受该潜空间嵌入的生成模型进行图像重建。我们使用定性并排比较与定量评估，全面地将我们的方法与其他现有方法进行比较，并表明MindEye在重建与检索任务上均达到了最先进的性能。特别地，MindEye即使在高度相似的候选中也能检索出确切的原始图像，表明其大脑嵌入保留了细粒度的图像特定信息。这使我们能够准确地从LAION-5B等大规模数据库中检索图像。我们通过消融实验证明，MindEye相对于先前方法的性能提升源于专用于检索与重建的子模块、改进的训练技术，以及训练参数数量级更大的模型。此外，我们表明MindEye通过使用img2img以及来自独立自编码器的输出，能更好地在重建中保留低级图像特征。所有代码已在GitHub上公开。
引用
@article{arxiv.2305.18274,
title = {Reconstructing the Mind's Eye: fMRI-to-Image with Contrastive Learning and Diffusion Priors},
author = {Paul S. Scotti and Atmadeep Banerjee and Jimmie Goode and Stepan Shabalin and Alex Nguyen and Ethan Cohen and Aidan J. Dempster and Nathalie Verlinde and Elad Yundler and David Weisberg and Kenneth A. Norman and Tanishq Mathew Abraham},
journal= {arXiv preprint arXiv:2305.18274},
year = {2023}
}
备注
Project Page at https://medarc.ai/mindeye. Code at https://github.com/MedARC-AI/fMRI-reconstruction-NSD/. Published as a conference paper at NeurIPS 2023