BELT：通过自然语言监督引导脑电到语言解码与零样本情感分类
人工智能
2023-12-12 v2 计算与语言
信号处理
摘要
本文提出BELT，一种面向脑到语言翻译这一关键课题的新颖模型与学习框架。将非侵入式脑信号翻译为可读自然语言，有潜力推动脑机接口(BCI)整体应用场景与发展。脑信号解码或脑到语言翻译的关键问题，是从规模与质量均有限的数据集中获取语义恰当且具判别性的EEG表征。所提BELT方法是一种通用高效框架，利用现成大规模预训练语言模型(LMs)引导EEG表征学习。借助大型LM对语义信息的理解与零样本泛化能力，BELT使用基于互联网规模数据集训练的大型LM，显著改善对EEG信号的理解。具体地，BELT模型由深度conformer编码器与向量量化编码器组成。语义EEG表征通过提供自然语言监督的对比学习步骤实现。我们在脑到语言翻译与零样本情感分类两项代表性脑解码任务上取得SOTA结果。具体而言，模型在两任务上分别超越基线5.45%与超10%，并在翻译与零样本情感分类的主评价指标上分别达到42.31%的BLEU-1分数与67.32%的精度。
引用
@article{arxiv.2309.12056,
title = {BELT:Bootstrapping Electroencephalography-to-Language Decoding and Zero-Shot Sentiment Classification by Natural Language Supervision},
author = {Jinzhao Zhou and Yiqun Duan and Yu-Cheng Chang and Yu-Kai Wang and Chin-Teng Lin},
journal= {arXiv preprint arXiv:2309.12056},
year = {2023}
}
备注
We decided to redraw the manuscript because of the multi-error in the paper due to poor writing and inspection