BrainBERT：用于颅内记录的自监督表示学习
机器学习
2023-03-01 v1 信号处理
神经元与认知
摘要
我们为颅内记录创建了一个可重用的 Transformer，即 BrainBERT，将现代表示学习方法引入神经科学。就像在 NLP 和语音识别中一样，这个 Transformer 通过在大型未标注神经记录语料库上以无监督方式进行预训练，能够以更高的准确率和少得多的数据对复杂概念进行分类，即解码神经数据。我们的方法可以泛化到具有新电极位置的新受试者以及不相关的任务，这表明该表示能够稳健地解耦神经信号。就像在 NLP 中人们可以通过研究语言模型学到的内容来研究语言一样，这种方法打开了通过大脑模型学到的内容来研究大脑的大门。作为沿着这条路径的第一步，我们展示了对大脑不同区域计算的内蕴维度的新的分析。为了构建这些表示，我们将一种生成神经数据超分辨率频谱图的技术与一种通过掩蔽生成音频上下文表示的方法相结合。在未来，通过使用表示学习，将能够从神经记录中解码出更多的概念，从而有可能像语言模型解锁语言一样解锁大脑。
关键词
引用
@article{arxiv.2302.14367,
title = {BrainBERT: Self-supervised representation learning for intracranial recordings},
author = {Christopher Wang and Vighnesh Subramaniam and Adam Uri Yaari and Gabriel Kreiman and Boris Katz and Ignacio Cases and Andrei Barbu},
journal= {arXiv preprint arXiv:2302.14367},
year = {2023}
}
备注
9 pages, 6 figures, ICLR 2023