NeuroPictor：通过多个体预训练和多级调制改进fMRI到图像重建
计算机视觉与模式识别
2024-07-19 v2 机器学习
摘要
最近的fMRI到图像方法主要关注将fMRI信号与预训练扩散模型的特定条件相关联。这些方法虽然能生成高质量图像，但仅捕获了fMRI信号中复杂信息的有限方面，并且对图像创建提供的细节控制很少。相比之下，本文提出直接使用fMRI信号调制扩散模型的生成过程。我们的方法NeuroPictor将fMRI到图像过程分为三个步骤：i) fMRI校准编码，以处理多个体预训练，获得共享潜在空间，最小化个体差异，并支持后续的多主体训练；ii) fMRI到图像多主体预训练，感知学习以跨不同个体使用高层和低层条件引导扩散模型；iii) fMRI到图像单主体精炼，与步骤ii类似，但专注于适应特定个体。NeuroPictor从fMRI信号中提取表征视觉刺激的高层语义特征，并通过低层操控网络逐步微调扩散模型，以提供精确的结构指令。通过使用来自不同个体的约67,000个fMRI-图像对进行训练，我们的模型在基准数据集上表现出优越的fMRI到图像解码能力，尤其是在主体内设置中。我们的代码和模型可在https://jingyanghuo.github.io/neuropictor/获取。
引用
@article{arxiv.2403.18211,
title = {NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation},
author = {Jingyang Huo and Yikai Wang and Xuelin Qian and Yun Wang and Chong Li and Jianfeng Feng and Yanwei Fu},
journal= {arXiv preprint arXiv:2403.18211},
year = {2024}
}
备注
Accepted by ECCV 2024