X2T：利用用户反馈在线学习训练 X 到文本的键入接口

我们旨在帮助用户通过灵活、自适应的接口向机器传达其意图，这些接口将任意用户输入翻译为期望的动作。本工作中，我们关注辅助键入应用，其中用户无法操作键盘，但可提供其他输入，例如捕获眼动的网络摄像头图像或由脑植入物测量的神经活动。标准方法在固定的用户输入数据集上训练模型，然后部署一个不从错误中学习的静态接口；部分原因在于从用户行为中提取错误信号可能具有挑战性。我们研究了一个简单想法，能以用户最小额外负担使此类接口随时间改进：利用用户对接口动作准确性的反馈进行在线学习。在键入领域，我们将退格键用作接口未执行期望动作的反馈。我们提出一种称为 x-to-text（X2T）的算法，该算法训练此反馈信号的预测模型，并用该模型微调任何现有的、默认的用于将用户输入翻译为选择单词或字符动作的接口。我们通过一项有 12 名参与者通过注视所需单词来键入句子的小规模在线用户研究、一项基于 60 名用户手写样本的大规模观察研究，以及一项由一名参与者使用基于皮层脑电图的脑机接口进行的试点研究来评估 X2T。结果表明，X2T 学会胜过非自适应默认接口，刺激用户与接口的共同适应，将接口个性化至个体用户，并能够利用从默认接口收集的离线数据来改善其初始性能并加速在线学习。