基于口语语音的想象语音神经解码探索

从人类脑信号中解码想象语音是一项具挑战性且重要的问题，其有望实现通过脑信号进行人类交流。虽然想象语音可作为通过脑信号进行无声交流的范式，但始终难以收集足够稳定的数据来训练解码模型。同时，口语语音数据相对容易获取，这意味着利用口语语音脑信号来解码想象语音具有重要意义。在本文中，我们进行了初步分析，以探究是否可能通过简单地将用口语语音脑信号训练的预训练模型应用于解码想象语音，来利用口语语音脑电图数据解码想象语音。仅使用想象语音数据训练和验证的分类表现为 30.5%，而基于口语语音的分类器迁移到想象语音数据的表现平均准确率为 26.8%，与基于想象语音的分类器相比无统计显著差异（p = 0.0983，卡方 = 4.64）。为更全面分析，我们将该结果与视觉意象数据集比较，后者相比想象语音自然与口语语音关联更弱。结果显示，视觉意象单独训练表现为 31.8%，迁移表现为 26.3%，两者间存在统计显著差异（p = 0.022，卡方 = 7.64）。我们的结果暗示了应用口语语音解码想象语音的潜力，以及二者潜在的共同特征。