结合跨被试训练与大型语言模型的P300拼写器性能评估
人机交互
2024-10-22 v1 计算与语言
摘要
肌萎缩侧索硬化症(ALS)是一种进行性神经肌肉退行性疾病,通常在发病后数年内严重限制患者的沟通能力,导致生活质量显著下降。P300拼写器脑机接口(BCI)通过利用被试对图形用户界面(GUI)上传统高亮字符的脑电图(EEG)响应,提供了一种替代性的沟通媒介。P300研究中的一个持续主题是提升性能以实现更快的被试交互。本研究基于该主题,通过解决多被试分类器训练中的关键限制,并集成先进的语言模型来优化刺激呈现和单词预测,从而提高沟通效率。具体而言,我们使用了多种先进的大型语言模型,如生成式预训练变换器(GPT)、BERT和BART,并结合Dijkstra算法,根据拼写历史优化刺激并生成单词补全选项。此外,我们采用多层平滑方法来处理词汇表外(OOV)单词。通过对被试的随机EEG数据进行大量模拟,我们展示了在包含罕见词和词汇表外单词的文本输入速度上的显著提升,提升幅度因所使用的语言模型而异。通过此类字符级界面优化,速度提升约为10%,而使用GPT2进行多词预测可带来约40%的提升。特别地,某些大型语言模型的性能达到了本研究理论性能上限的10%以内。此外,我们还探索了被试内和被试间的训练技术,并证明在这两种情况下速度提升均能保持。
关键词
引用
@article{arxiv.2410.15161,
title = {Evaluation Of P300 Speller Performance Using Large Language Models Along With Cross-Subject Training},
author = {Nithin Parthasarathy and James Soetedjo and Saarang Panchavati and Nitya Parthasarathy and Corey Arnold and Nader Pouratian and William Speier},
journal= {arXiv preprint arXiv:2410.15161},
year = {2024}
}
备注
21 pages, 11 figures, 1 table. arXiv admin note: substantial text overlap with arXiv:2405.13329