大语言模型与对比学习：跨语言零样本情感识别

多语言语音情感识别旨在使用无接触方法跨语言估计说话者的情感状态。然而，语音特征的差异性和语言的多样性为零样本语音情感识别，尤其是多语言数据集，带来了显著挑战。本文提出利用对比学习细化多语言语音特征，扩展大语言模型实现跨语言零样本语音情感估计。具体而言，我们采用一种新颖的两阶段训练框架，将语音信号与情感空间中的语言特征对齐，捕捉情感感知和语言无关的语音表征。为推动该领域的研究，我们引入了一个大规模合成多语言语音情感数据集，M5SER。我们的实验表明，所提方法在语音情感识别和零样本多语言语音情感识别中均有效，包括以前未见的数据集和语言。