利用语言和语音模型嵌入重现语音生产期间的神经活动

理解神经活动如何编码语音与语言生产是神经科学和人工智能领域的基本挑战。本研究探讨了大规模自监督语言和语音模型嵌入能否有效重构语音生产期间高伽马神经活动特征，后者是皮层处理的关键指标。我们利用在语言和声学数据上训练的深度学习模型预训练嵌入来表示高层语音特征，并将其映射到这些高伽马信号上。我们分析了这些嵌入在保留脑活动时空动力学方面的程度。使用相关性指标和信号重构质量评估对重构的神经信号进行评估。结果表明，在所有受试者中，均能有效地使用大型语言和语音模型嵌入来重构高伽马活动，其皮尔逊相关系数范围为 0.79至0.99。