MyoText：通过手指分类和基于 Transformer 的解码实现从肌肉到文本

表面电位图 (sEMG) 提供了从肌肉活动解码神经信号的直接途径，为可穿戴式和混合现实系统中的键盘免除文本输入提供了广阔的前景。以往的 sEMG 到文本研究主要聚焦于直接从 sEMG 信号中识别字母，这是将肌肉活动转化为文本的重要第一步。基于这一基础上，我们提出 MyoText，一个通过生理学依据的中间阶段将 sEMG 信号解码为文本的分层框架。MyoText 首先使用 CNN-BiLSTM-Attention 模型从多通道 sEMG 中对手指激活进行分类，应用人体工程学输入先验条件推断字母，并通过微调的 T5 Transformer 重构完整句子。这种模块化设计镜像了输入的自然层次结构，将肌肉意图与语言输出关联，减少了解码的搜索空间。在来自 emg2qwerty 数据集的 30 名用户测试中，MyoText 在手指分类准确率、字符错误率 (CER) 和词错误率 (WER) 上分别超过基线方法，分别达到 85.4%、5.4% 和 6.5%。除了准确率提升之外，这一方法为从神经肌肉信号到文本的原则性路径waypoint，为未来无物理键盘的虚拟和增强现实输入接口提供了蓝图。通过将人体工程学结构与基于 Transformer 的语言推理相结合，MyoText 推进了无缝、可穿戴神经输入在未来 ubiquitous computing 环境中的可行性。