通过预训练对比 EEG-文本掩码自编码器的可迁移表示增强 EEG 到文本解码
计算与语言
2024-09-27 v3
摘要
从非侵入式脑电图 (EEG) 重建自然语言作为脑机接口 (BCI) 的语言解码技术具有巨大前景。然而，基于 EEG 的语言解码仍处于起步阶段，面临若干技术问题，例如：1) 缺乏能够有效整合跨模态（EEG 与文本之间）自学习与模态内 EEG 特征或文本序列自重建的混合策略；2) 未充分利用大语言模型 (LLM) 来增强基于 EEG 的语言解码。为解决上述问题，我们提出了对比 EEG-文本掩码自编码器 (CET-MAE)，这是一种通过专用的多流编码器协调跨模态和模态内复合自监督学习的新模型。此外，我们开发了一个名为 E2T-PTR（使用预训练可迁移表示进行 EEG 到文本解码）的框架，该框架利用 CET-MAE 中的预训练模块及 EEG 流，并进一步使 LLM（具体为 BART）能够从 EEG 序列解码文本。在流行的文本诱发电位 EEG 数据库 ZuCo 上进行的综合实验证明了 E2T-PTR 的优越性，其 ROUGE-1 F1 和 BLEU-4 分数分别比最先进水平高出 8.34% 和 32.21%。这些结果表明该领域取得了显著进展，并强调了所提出框架在实现更强大、更广泛的 BCI 应用方面的潜力。
引用
@article{arxiv.2402.17433,
title = {Enhancing EEG-to-Text Decoding through Transferable Representations from Pre-trained Contrastive EEG-Text Masked Autoencoder},
author = {Jiaqi Wang and Zhenxi Song and Zhengyu Ma and Xipeng Qiu and Min Zhang and Zhiguo Zhang},
journal= {arXiv preprint arXiv:2402.17433},
year = {2024}
}
备注
8 pages (excluding references), accepted by ACL 2024 Main Conference