UniCoRN：统一认知信号重建，桥接认知信号与人类语言
信号处理
2023-07-12 v1 计算与语言
摘要
从认知信号（如fMRI）解码文本刺激增进了我们对人类语言系统的理解，为构建通用脑机接口铺平道路。然而，现有研究大多聚焦于从受限词汇表解码个体词级fMRI体数据，这对于真实应用过于理想化。本文中，我们提出fMRI2text，首个旨在桥接fMRI时间序列与人类语言的开放词汇任务。此外，为探索这一新任务的潜力，我们给出基线方案UniCoRN：用于脑解码的统一认知信号重建（Unified Cognitive Signal ReconstructioN）。通过重建个体时间点与时间序列，UniCoRN为认知信号（fMRI与EEG）建立了鲁棒编码器。借助预训练语言模型作为解码器，UniCoRN证明了其在多种划分设置下从fMRI序列解码连贯文本的有效性。我们的模型在fMRI2text上取得34.77%的BLEU分数，泛化至EEGto-text解码时取得37.04%的BLEU，从而超越先前基线。实验结果表明解码连续fMRI体数据的可行性，以及使用统一结构解码不同认知信号的有效性。
引用
@article{arxiv.2307.05355,
title = {UniCoRN: Unified Cognitive Signal ReconstructioN bridging cognitive signals and human language},
author = {Nuwa Xi and Sendong Zhao and Haochun Wang and Chi Liu and Bing Qin and Ting Liu},
journal= {arXiv preprint arXiv:2307.05355},
year = {2023}
}
备注
the 61st Annual Meeting of the Association for Computational Linguistics