电影 fMRI 响应与其自然语言标注之间的映射
神经元与认知
2017-04-11 v3 计算与语言
机器学习
摘要
多个研究小组已经展示了如何将 fMRI 响应与呈现刺激的含义相关联。本文提出了一种在仅有自然语言标注作为刺激描述时进行此类关联的新方法。我们研究了受试者观看 BBC《神探夏洛克》[1] 一集时收集的 fMRI 数据，并学习了 fMRI 响应与自然语言表示之间的双向映射。我们展示了如何利用多个受试者观看同一电影的数据来提高映射精度，使我们在场景分类任务中达到了 72% 的准确率（随机猜测为 4%），在场景排序任务中平均排名位于前 4%（随机猜测为 50%）。关键要素包括：(a) 使用共享响应模型（SRM）及其变体 SRM-ICA [2, 3] 来聚合多个受试者的 fMRI 数据，在为本文任务生成低维表示方面，两者均被证明优于标准 PCA；(b) 一种改编自自然语言处理（NLP）文献 [4] 的句子嵌入技术，用于生成标注的语义向量表示；(c) 在预测数据的特征化中使用先前时间步的信息。
引用
@article{arxiv.1610.03914,
title = {Mapping Between fMRI Responses to Movies and their Natural Language Annotations},
author = {Kiran Vodrahalli and Po-Hsuan Chen and Yingyu Liang and Christopher Baldassano and Janice Chen and Esther Yong and Christopher Honey and Uri Hasson and Peter Ramadge and Ken Norman and Sanjeev Arora},
journal= {arXiv preprint arXiv:1610.03914},
year = {2017}
}
备注
19 pages, 9 figures, in submission to NeuroImage. Prior version presented at MLINI-2016 workshop, 2016 (arXiv:1701.01437) and ICML 2016 Workshop on Multi-view Representation Learning