基于实例条件GAN从fMRI模式重建感知图像及语义脑区探索
计算机视觉与模式识别
2022-02-28 v1 图像与视频处理
神经元与认知
摘要
从 fMRI 信号重建感知到的自然图像是神经解码研究中最引人关注的话题之一。先前的研究在重建低级图像特征或语义/高级属性方面取得了成功，但很少同时做到两者。在本研究中，我们利用实例条件 GAN（IC-GAN）模型从 fMRI 模式中重建图像，既具有准确的语义属性，又保留了低级细节。IC-GAN 模型以 119 维噪声向量和通过自监督学习模型（SwAV ResNet-50）从目标图像提取的 2048 维实例特征向量作为输入；这些实例特征作为 IC-GAN 图像生成的条件，而噪声向量在样本间引入变异性。我们训练了岭回归模型，从相应的 fMRI 模式预测刺激物的实例特征、噪声向量和稠密向量（IC-GAN 生成器第一个稠密层的输出）。然后，我们使用 IC-GAN 生成器基于这些 fMRI 预测的变量重建新颖的测试图像。所生成的图像在捕捉原始测试图像的语义属性同时保持对低级图像细节相对忠实方面，取得了最先进的结果。最后，我们利用学习到的回归模型和 IC-GAN 生成器，系统地探索和可视化最大程度驱动人脑若干个感兴趣区域中的每一个的语义特征。
引用
@article{arxiv.2202.12692,
title = {Reconstruction of Perceived Images from fMRI Patterns and Semantic Brain Exploration using Instance-Conditioned GANs},
author = {Furkan Ozcelik and Bhavin Choksi and Milad Mozafari and Leila Reddy and Rufin VanRullen},
journal= {arXiv preprint arXiv:2202.12692},
year = {2022}
}