DeWave：用于脑动态到文本翻译的离散脑电波编码
人机交互
2024-01-04 v4
摘要
将脑动态翻译为自然语言对于脑机接口（BCIs）至关重要。随着诸如 ChatGPT 等大型语言模型的快速发展，弥合大脑与语言之间差距的需求变得日益迫切。然而，当前方法需要眼动追踪注视点或事件标记来将脑动态分割为词级特征，这限制了这些系统的实际应用。为解决这些问题，我们引入了一种新颖框架 DeWave，其将离散编码序列集成到开放词表 EEG 到文本的翻译任务中。DeWave 使用量化变分编码器推导离散码本编码，并将其与预训练语言模型对齐。这种离散码本表示带来两个优势：1) 通过引入文本-EEG 对比对齐训练，无需标记即可在原始波形上实现翻译；2) 通过具有或不具有标记的不变离散码本，减轻了 EEG 波形中个体差异造成的干扰。我们的模型分别以前基线（40.1 与 31.7）超出 3.06% 与 6.34%，在 ZuCo 数据集上达到 41.35 BLEU-1 与 33.71 Rouge-F。本工作是首个在无词级顺序标记（如眼动注视）的情况下实现整段 EEG 信号周期翻译的工作，在 ZuCo 数据集上取得 20.5 BLEU-1 与 29.5 Rouge-1。
引用
@article{arxiv.2309.14030,
title = {DeWave: Discrete EEG Waves Encoding for Brain Dynamics to Text Translation},
author = {Yiqun Duan and Jinzhao Zhou and Zhen Wang and Yu-Kai Wang and Chin-Teng Lin},
journal= {arXiv preprint arXiv:2309.14030},
year = {2024}
}