BELT-2：基于字节对编码的 EEG-to-Language 表示对齐，用于多任务脑解码
信号处理
2024-09-04 v1 人工智能
机器学习
音频与语音处理
摘要
大型语言模型（LLM）在各种多模态应用中取得了显著成功。然而，将大型语言模型与人类或脑动态集成仍相对未被探索。在本文中，我们引入 BELT-2，这是一个 pioneering 多任务模型，旨在增强从 EEG 信号进行编码和解码的性能。为增强 EEG 编码器的质量，BELT-2 是首次创新性地 1) 采用字节对编码（BPE）级别的 EEG-语言对齐方式，以及 2) 在 EEG 领域集成多任务训练与解码。灵感来自“\textbf{\textit{Bridging the Brain with GPT}}”的思想，我们进一步通过在 EEG 编码器输出的中间层使用前缀调谐（prefix-tuning）将多任务 EEG 编码器与 LLM 连接起来。这些创新措施使 BELT-2 成为该领域的 pioneering 突破，使其成为首个能够从非侵入性脑信号中解码连贯且可读句子的工作。我们的实验在定量和定性方面均显著优于先前技术，在 ZuCo 数据集上实现 BLEU-1 分数为 52.2% 的解码性能。此外，BELT-2 在其他翻译基准测试中表现出显著提升，范围从 31% 到 162%。代码可通过提供的匿名链接\footnote{https://anonymous.4open.science/r/BELT-2-0048}获取。
引用
@article{arxiv.2409.00121,
title = {BELT-2: Bootstrapping EEG-to-Language representation alignment for multi-task brain decoding},
author = {Jinzhao Zhou and Yiqun Duan and Fred Chang and Thomas Do and Yu-Kai Wang and Chin-Teng Lin},
journal= {arXiv preprint arXiv:2409.00121},
year = {2024}
}