适配 Transformer 语言模型用于脑机接口中的预测性输入
计算与语言
2023-05-09 v1
摘要
脑机接口（BCI）对许多人而言是重要的替代与辅助交流方式。与键盘不同，许多 BCI 系统甚至不能同时显示英文字母 26 个字母，更不用说更复杂系统中的所有符号。因此，利用语言模型进行字符级预测可大幅加速 BCI 输入（Ghosh 与 Kristensson，2017）。尽管多数现有 BCI 系统采用字符 n-gram 模型或完全无语言模型，本文适配若干 wordpiece 级 Transformer LM 以进行字符预测，并在输入任务上评估它们。GPT-2 在干净文本上表现最佳，但不同 LM 对含噪历史反应各异。我们进一步分析了字符在词中位置与上下文长度的影响。
引用
@article{arxiv.2305.03819,
title = {Adapting Transformer Language Models for Predictive Typing in Brain-Computer Interfaces},
author = {Shijia Liu and David A. Smith},
journal= {arXiv preprint arXiv:2305.03819},
year = {2023}
}