DELTA:基于语言扩散的 EEG-to-Text 架构
计算与语言
2025-12-01 v1
摘要
脑电图(EEG)-to-text 仍具有挑战性,主要due to high-dimensional noise, subject variability, and error accumulation in autoregressive decoding. 我们介绍了 DELTA,一种将残差向量量化(RVQ) EEG 标记器与掩码语言扩散模型(LLaDA) 配对的系统。RVQ 将连续 EEG 离散化为多层标记,以减少噪声和个体差异,而 LLaDA 通过非顺序去噪重构句子。在ZuCo 数据集上,DELTA 在语义对齐方面比自回归基线提高最高可达 5.37 分,达到 BLEU-1 21.9 和 ROUGE-1 F1 17.2(在 word-level 条件下)。这些结果使得从小规模 EEG-text 数据集中可靠地生成文本成为可能,并指向可扩展的多模态 EEG 语言模型的潜力。
引用
@article{arxiv.2511.21746,
title = {DELTA: Language Diffusion-based EEG-to-Text Architecture},
author = {Mingyu Jeon and Hyobin Kim},
journal= {arXiv preprint arXiv:2511.21746},
year = {2025}
}