利用双向循环神经网络模拟人视觉皮层双向信息流从人脑活动解码视觉刺激类别
神经元与认知
2019-03-20 v1
摘要
近来,基于功能磁共振成像(fMRI)的视觉编码与解码随着深度网络计算的快速发展取得了诸多成果。尽管深度网络与人类视觉具有层级相似的表征,视觉信息流基于自下而上和自上而下方式分别从初级视觉皮层流向高级视觉皮层及反之。受双向信息流启发,我们提出一种基于双向循环神经网络(BRNN)的方法从 fMRI 数据解码类别。BRNN 模块中的前向与后向分别刻画自下而上与自上而下方式。所提方法将各视觉皮层区域(V1、V2、V3、V4 和 LO)的所选体素视为输入 BRNN 模块序列中的一个节点,并组合 BRNN 模块输出与后续全连接层解码类别。该新方法有效利用了人视觉皮层中的层级信息表征与双向信息流。实验结果表明,我们的方法在三层级类别解码上准确率优于其他方法,间接验证了层级且双向的人类视觉表征。比较分析揭示人视觉皮层的类别表征具有层级性、分布式、互补性与相关性。
引用
@article{arxiv.1903.07783,
title = {Category decoding of visual stimuli from human brain activity using a bidirectional recurrent neural network to simulate bidirectional information flows in human visual cortices},
author = {Kai Qiao and Jian Chen and Linyuan Wang and Chi Zhang and Lei Zeng and Li Tong and Bin Yan},
journal= {arXiv preprint arXiv:1903.07783},
year = {2019}
}
备注
submitted to the Frontiers in neuroscience