Text2Brain：基于自由文本查询的脑激活图合成
神经元与认知
2021-09-29 v1 机器学习
摘要
大多数神经影像实验由于单个研究可调查的对象数量和认知过程有限而统计效力不足。尽管如此，经过数十年的研究，神经科学已积累了大量成果。由于现有元分析工具仅限于关键词查询，消化这一不断增长的知识库并获得新见解仍然是一项挑战。在这项工作中，我们提出 Text2Brain，一种用于神经影像研究基于坐标的元分析的神经网络方法，可从开放式文本查询合成脑激活图。Text2Brain 结合基于 transformer 的文本编码器和 3D 图像生成器，在从 13,000 篇已发表神经影像研究中采样得到的变长文本片段及其对应激活图上进行了训练。我们证明 Text2Brain 能够从认知概念的自由形式文本描述中合成解剖学上合理的神经激活模式。Text2Brain 作为一个基于网络的工具可在 https://braininterpreter.com 获取，用于检索已有先验并生成神经科学研究的新假设。
引用
@article{arxiv.2109.13814,
title = {Text2Brain: Synthesis of Brain Activation Maps from Free-form Text Query},
author = {Gia H. Ngo and Minh Nguyen and Nancy F. Chen and Mert R. Sabuncu},
journal= {arXiv preprint arXiv:2109.13814},
year = {2021}
}
备注
MICCAI 2021