基于胶囊网络架构解码模型从人脑 fMRI 准确重建图像刺激
计算机视觉与模式识别
2018-01-03 v1 人工智能
神经元与认知
摘要
在神经科学中，人们设计了各种计算模型来回答感觉刺激如何被神经元编码，反之感觉刺激如何能从神经元活动中解码这一开放性问题。特别是，随着深度网络计算的快速发展，功能磁共振成像（fMRI）研究取得了许多重大成果。然而，相较于从视觉皮层活动中解码朝向、位置和物体类别这一目标，从人脑 fMRI 准确重建图像刺激仍是一项具有挑战性的工作。本文提出了基于胶囊网络（CapsNet）架构的视觉重建（CNAVR）方法用于重建图像刺激。胶囊意指包含一组神经元以更好地组织特征结构与表示，其灵感来自灵长类动物皮层微柱包含数百个神经元的结构。CapsNet 中的高层胶囊特征包含图像刺激的多种特征，如语义类别、朝向、位置等。我们利用这些特征在人脑 fMRI 与图像刺激之间建立桥梁。我们首先以端到端方式使用 CapsNet 训练从图像刺激到高层胶囊特征、以及从高层胶囊特征再到图像刺激的非线性映射。在通过编码性能估计每个体素的有效性以完成体素选择后，我们其次训练从降维 fMRI 数据到高层胶囊特征的非线性映射。最后，我们可用 fMRI 数据预测高层胶囊特征，并用 CapsNet 重建图像刺激。我们在手写数字图像数据集上评估了所提出的 CNAVR 方法，其在结构相似性指数（SSIM）上超出所有现有最优（SOTA）方法约 10% 的准确率。
引用
@article{arxiv.1801.00602,
title = {Accurate reconstruction of image stimuli from human fMRI based on the decoding model with capsule network architecture},
author = {Kai Qiao and Chi Zhang and Linyuan Wang and Bin Yan and Jian Chen and Lei Zeng and Li Tong},
journal= {arXiv preprint arXiv:1801.00602},
year = {2018}
}