描述由视觉刺激诱发脑活动的语义表征
计算机视觉与模式识别
2018-02-08 v1
摘要
基于语言表征的人类脑活动定量建模在系统神经科学中已被积极研究。然而，以往研究考察的是词级表征，关于我们能否从脑活动恢复结构化句子知之甚少。本研究尝试从视觉刺激诱发的人类脑活动生成语义内容的自然语言描述。为有效利用少量可用脑活动数据，我们提出的方法采用基于深度学习框架的预训练图像描述（image-captioning）网络模型。为将脑活动应用于图像描述网络，我们训练回归模型以学习脑活动与深层图像特征之间的关系。结果表明所提模型能够解码脑活动并用自然语言句子生成描述。我们还利用已知处理视觉刺激的不同脑区子集数据进行了若干实验。结果表明用于句子生成的语义信息广泛分布于整个皮层。
引用
@article{arxiv.1802.02210,
title = {Describing Semantic Representations of Brain Activity Evoked by Visual Stimuli},
author = {Eri Matsuo and Ichiro Kobayashi and Shinji Nishimoto and Satoshi Nishida and Hideki Asoh},
journal= {arXiv preprint arXiv:1802.02210},
year = {2018}
}
备注
11 pages, 8 figures