从语音相关生物信号重构未见句子以实现开放词汇神经通信

脑-语音（BTS）系统代表了人类沟通的一种突破性方法，通过实现神经活动到语言表达的直接转换。虽然近期的非侵入性BTS研究主要聚焦于解码预定义单词或句子，但要实现与自然人类交互相似的开放词汇神经通信，仍需解码无约束语音。此外，有效整合来自语音的多样化信号对于开发针对患者个性化和自适应神经通信及康复解决方案至关重要。本研究探索了利用从高密度脑电图（EEG）信号中提取的语音单元级信息，结合肌电图（EMG）信号，实现对各种语音模式下未见句子的语音合成潜力。进一步，我们检验了影响句子重构中语音单元解码准确性的因素，并提供神经生理学见解，以进一步提升EEG解码，实现更有效的神经通信解决方案。我们的发现强调了基于生物信号的句子级语音合成重构未见句子的可行性，标志着开发适应多样患者需求和状况的开放词汇神经通信系统的重要一步。此外，本研究为利用基于EEG的解码技术开发沟通和康复解决方案提供了有意义的见解。