面表面电生理信号中的情感解码： phonated 与 silent 语音生产
音频与语音处理
2026-03-20 v2 人工智能
声音
摘要
情感表达是语言交流的重要组成部分，但其与底层语音执行之间的关系尚不清晰。诸如电生理信号（EMG）之类的测度可揭示情感如何与声学语音分析一起调制语音生产。我们针对面部和颈部表面电生理信号（sEMG）在phonated 与silent语音生产期间进行情感解码。为此，我们引入一个包含2780个语音的、来自12名受试者的3项任务的数据集，并对其进行内主观和跨主观解码评估，采用多种特征和模型嵌入。我们的结果表明，EMG表示可可靠地判别焦虑情绪，最高可达0.845的ROC曲线下面积（AUC），并在不同语音模式间良好地泛化。我们的消融研究进一步表明，情感特征嵌入在面部运动活动中，即使没有phonation也能在silent语音中持久存在，凸显了基于EMG感知的情感感知silent语音接口的潜力。
引用
@article{arxiv.2603.11715,
title = {Affect Decoding in Phonated and Silent Speech Production from Surface EMG},
author = {Simon Pistrosch and Kleanthis Avramidis and Zhao Ren and Tiantian Feng and Jihwan Lee and Monica Gonzalez-Machorro and Anton Batliner and Tanja Schultz and Shrikanth Narayanan and Björn W. Schuller},
journal= {arXiv preprint arXiv:2603.11715},
year = {2026}
}