利用深度神经网络从神经脉冲重建自然视觉场景
神经元与认知
2020-01-29 v2 机器学习
机器学习
摘要
神经编码是系统神经科学中理解大脑如何处理来自环境刺激的核心问题之一，此外它也是脑机接口算法设计的基石，其中解码输入刺激对提升物理器件性能极为关键。传统上研究者聚焦于功能磁共振成像（fMRI）数据作为解码视觉场景所需的神经信号。然而，我们的视觉感知以毫秒级的快速时间尺度通过称为神经脉冲的事件运作，利用脉冲进行解码的研究很少。本文通过开发一种基于深度神经网络的新颖解码框架，名为脉冲-图像解码器（SID），从实验记录的视网膜神经节细胞群体脉冲中重建自然视觉场景（包括静态图像与动态视频），以实现此目标。SID 是一种端到端解码器，一端为神经脉冲，另一端为图像，可直接训练，从而以高精度从脉冲重建视觉场景。与现有 fMRI 解码模型相比，我们的 SID 在视觉刺激重建上也表现更优。此外，借助脉冲编码器，我们表明 SID 可通过使用 MNIST、CIFAR10 和 CIFAR100 图像数据集推广至任意视觉场景。进而，利用预训练的 SID，可解码任意动态视频，以通过脉冲实现视觉场景的实时编码与解码。总之，我们的结果为事件型视觉相机与视觉神经假体等人工视觉系统的神经形态计算提供了新思路。
引用
@article{arxiv.1904.13007,
title = {Reconstruction of Natural Visual Scenes from Neural Spikes with Deep Neural Networks},
author = {Yichen Zhang and Shanshan Jia and Yajing Zheng and Zhaofei Yu and Yonghong Tian and Siwei Ma and Tiejun Huang and Jian K. Liu},
journal= {arXiv preprint arXiv:1904.13007},
year = {2020}
}
备注
35 pages, 10 figures