逃离BLEU陷阱:基于信号导向的解耦语义指导EEG到文本解码框架
计算与语言
2026-04-06 v2 人工智能
人机交互
音频与语音处理
神经元与认知
摘要
从非侵入性EEG信号解码自然语言是一项具有前景但富有挑战性的任务。然而,当前的先进模型仍受制于三个根本性局限:语义偏差(模式坍缩到通用模板)、信号忽视(基于语言先验而非神经输入的幻觉)以及BLEU陷阱,其中评估指标因高频停用词人为抬高,掩盖了真实语义忠诚度的缺失。为解决这些问题,我们提出SemKey,一个新型多阶段框架,通过四个解耦的语义目标强制执行信号导向生成:情感、主题、长度和惊讶度。我们重新设计神经编码器与大语言模型(LLM)之间的交互方式,通过将语义提示注入为查询,将EEG嵌入作为键值对,严格迫使模型关注神经输入。此外,我们超越标准翻译指标,采用N向检索准确率和弗里谢距离来严格评估多样性和对齐性。广泛的实验表明,我们的方法有效消除了噪声输入上的幻觉,并在这些稳健协议上实现了SOTA性能。代码将在接受录取后公开于 https://github.com/xmed-lab/SemKey。
引用
@article{arxiv.2603.03312,
title = {Escaping the BLEU Trap: A Signal-Grounded Framework with Decoupled Semantic Guidance for EEG-to-Text Decoding},
author = {Yuchen Wang and Haonan Wang and Yu Guo and Honglong Yang and Xiaomeng Li},
journal= {arXiv preprint arXiv:2603.03312},
year = {2026}
}