iPhoneme：使用 ConformerXL 解码实现 ALS 患者的脑到文本通信
声音
2026-04-21 v1 人工智能
计算与语言
摘要
用于语音恢复的脑机接口对全球约 173,000 至 232,500 名患有 ALS 相关构音障碍的个体具有变革性潜力。尽管最近取得了进展，但高性能语音脑机接口仅在全球 22-31 名患者中得到验证，这主要是由于神经解码准确性和实用输入接口的限制。我们提出了 iPhoneme，一个脑到文本通信系统，通过集成建模和交互设计共同应对这些挑战。该系统将基于改进 Conformer 架构（ConformerXL，1.929 亿参数）的深度学习音素解码器与一个凝视辅助音素输入接口相结合，该接口缓解了眼动追踪系统中的“米达斯接触”问题。声学模型包含一个带有多尺度扩张卷积和双向 GRU 的时间预网络用于神经抖动校正、用于 CTC 稳定性的时间子采样，以及跨 12 个编码器块的 Pre-RMSNorm 稳定化，使用 AdamW 和余弦调度进行训练。在交互方面，iPhoneme 引入了一种和弦式凝视加无声语音范式，取代了驻留时间选择，实现了更高效的输入。我们在来自言语运动皮层区域的 256 通道颅内脑电图的 T15 数据集（45 个会话，8071 次试验）上评估该系统。一个在 310 万序列上训练的 6-gram 音素语言模型，结合 WFST 波束搜索（波束=128），实现了 92.14% 的音素准确率（7.86% 音素错误率）和 73.39% 的单词准确率（26.61% 词错误率），比先前的最先进水平高出约 3%。该系统在 CPU 上以 180 毫秒的延迟运行，为 ALS 患者展示了实时、高精度的脑到文本通信。
引用
@article{arxiv.2604.16441,
title = {iPhoneme: Brain-to-Text Communication for ALS Using ConformerXL Decoding},
author = {Yoonmin Cha and Dawit Chun and Sung Park},
journal= {arXiv preprint arXiv:2604.16441},
year = {2026}
}