利用 BigBiGAN 从 fMRI 模式重建自然场景
计算机视觉与模式识别
2020-12-09 v3 人机交互
图像与视频处理
神经元与认知
摘要
从脑成像数据解码并重建图像是一个备受关注的研究领域。深度生成神经网络的最新进展为解决该问题带来了新机遇。在此，我们采用一种近期提出的大规模双向生成对抗网络 BigBiGAN，从 fMRI 模式解码并重建自然场景。BigBiGAN 将图像转换为一个编码了类别与属性信息的 120 维潜空间，并也能基于其潜向量重建图像。我们计算了在 ImageNet 上 150 个不同类别图像所获取的 fMRI 数据与其对应 BigBiGAN 潜向量之间的线性映射。随后，我们将该映射应用于来自 50 个未见类别的 50 张新测试图像的 fMRI 活动模式，以检索其潜向量并重建相应图像。基于预测潜向量的成对图像解码高度准确（84%）。此外，定性与定量评估显示，所得图像重建在视觉上合理，成功捕捉了原图像的许多属性，并与原始内容具有较高感知相似性。该方法确立了基于 fMRI 的自然图像重建的新 SOTA，并可灵活更新以考虑自然场景图像生成模型的任何未来改进。
引用
@article{arxiv.2001.11761,
title = {Reconstructing Natural Scenes from fMRI Patterns using BigBiGAN},
author = {Milad Mozafari and Leila Reddy and Rufin VanRullen},
journal= {arXiv preprint arXiv:2001.11761},
year = {2020}
}
备注
Accepted to IEEE IJCNN2020