基于视觉Transformer和对比表征学习的ECoG语音神经解码
人工智能
2025-12-23 v2
摘要
语音脑机接口（BCI）为完全瘫痪且无法与人交流的人群提供了广阔的解决方案。近期多个研究已展示了通过预测音素或单词序列并利用下游语言模型获取有意义句子，从表面电脑内皮电图（ECoG）或皮内电记录重建语音的令人信服的效果。当前挑战在于以流式模式重建语音，直接将皮层信号回归为语音声学特征。虽然此目标已在皮内数据中实现，但进一步工作仍需针对表面ECoG记录获得相当结果。在本情况下，优化神经解码器尤为关键。本文提出一种基于编码器-解码器深度神经网络的离线语音解码管线，集成视觉Transformer和对比学习，以增强从ECoG信号直接回归语音的能力。该方法在两个数据集上进行评估：一个数据集来自于来自癫痫病患者的临床皮下电极，另一个数据集来自用于运动BCI试验受试者的全植入式WIMAGINE躯干系统。据我们了解，这是首次尝试从全植入式无线躯干记录系统解码语音，为长期使用提供了前景。
关键词
引用
@article{arxiv.2512.04618,
title = {Neural Decoding of Overt Speech from ECoG Using Vision Transformers and Contrastive Representation Learning},
author = {Mohamed Baha Ben Ticha and Xingchen Ran and Guillaume Saldanha and Gaël Le Godais and Philémon Roussel and Marc Aubert and Amina Fontanell and Thomas Costecalde and Lucas Struber and Serpil Karakas and Shaomin Zhang and Philippe Kahane and Guillaume Charvet and Stéphan Chabardès and Blaise Yvert},
journal= {arXiv preprint arXiv:2512.04618},
year = {2025}
}