基于卷积神经网络的无约束自然图像fMRI信号重建
计算机视觉与模式识别
2018-01-17 v1 人工智能
神经元与认知
摘要
近年来，基于功能磁共振成像（fMRI）的解码脑活动研究取得了显著成就。然而，从无约束条件下由脑活动重建自然图像仍是一项挑战。现有方法通过使用语义先验信息或仅重建字母和数字等简单图像来简化该问题。在不使用语义先验信息的情况下，我们提出了一种基于卷积神经网络（CNN）计算模型、由人视觉皮层fMRI信号重建自然图像的新方法。首先，我们提取预训练CNN中各层所观看自然图像的单位输出作为CNN特征。其次，通过训练稀疏线性回归将fMRI模式映射到CNN特征，将fMRI信号的图像重建转化为CNN特征可视化问题。通过迭代优化寻找匹配图像，使其CNN单位特征与由脑活动预测的特征最为相似，我们最终在极具挑战性的无约束自然图像重建上取得了有前景的结果。由于在训练解码模型时未使用刺激的语义先验信息，理论上任何类别的图像（不受训练集约束）均可被重建。我们发现重建图像与自然刺激相似，尤其在位置和形状上。实验结果表明，分层视觉特征能有效表达人脑的视觉感知过程。
引用
@article{arxiv.1801.05151,
title = {Constraint-free Natural Image Reconstruction from fMRI Signals Based on Convolutional Neural Network},
author = {Chi Zhang and Kai Qiao and Linyuan Wang and Li Tong and Ying Zeng and Bin Yan},
journal= {arXiv preprint arXiv:1801.05151},
year = {2018}
}