脑电到文本模型真的有效吗？
计算与语言
2024-10-29 v4 人工智能
摘要
本文对现有的开放词汇脑电到文本翻译模型进行了批判性分析。我们发现了一个关键局限：先前的研究在评估时通常采用隐式的教师强制策略，人为地抬高了性能指标。此外，它们还缺少一个关键的基准测试——将模型在纯噪声输入上的性能与在真实脑电信号上的性能进行比较。我们提出了一种方法，用以区分真正从脑电信号中学习的模型与那些仅仅记忆训练数据的模型。我们的分析表明，模型在噪声数据上的表现可能与在脑电数据上的表现相当。这些发现凸显了在脑电到文本研究中采用更严格评估实践的必要性，强调透明报告和使用噪声输入进行严格基准测试。这种方法将带来对模型能力更可靠的评估，并为构建鲁棒的脑电到文本通信系统铺平道路。代码可在 https://github.com/NeuSpeech/EEG-To-Text 获取。
引用
@article{arxiv.2405.06459,
title = {Are EEG-to-Text Models Working?},
author = {Hyejeong Jo and Yiqian Yang and Juhyeok Han and Yiqun Duan and Hui Xiong and Won Hee Lee},
journal= {arXiv preprint arXiv:2405.06459},
year = {2024}
}