GEmo-CLAP：用于精确语音情感识别的性别属性增强对比语言-音频预训练
计算与语言
2023-12-05 v9 多媒体
声音
音频与语音处理
摘要
对比跨模态预训练近来在多个领域展现出令人瞩目的成功，但关于其在语音情感识别(SER)中优势的研究仍然有限。本文提出GEmo-CLAP，一种用于SER的性别属性增强对比语言-音频预训练(CLAP)方法。具体而言，我们首先利用预训练的文本和音频编码器，为SER构建有效的情感CLAP(Emo-CLAP)。其次，鉴于性别信息在SER中的重要性，进一步提出两种基于多任务学习的GEmo-CLAP(ML-GEmo-CLAP)和基于软标签的GEmo-CLAP(SL-GEmo-CLAP)模型，以融入语音信号的性别信息，形成更合理的目标。在IEMOCAP上的实验表明，我们所提出的两种GEmo-CLAP在不同预训练模型下均持续优于Emo-CLAP。值得注意的是，所提出的基于WavLM的SL-GEmo-CLAP取得了83.16%的最佳WAR，优于当前最先进的SER方法。
引用
@article{arxiv.2306.07848,
title = {GEmo-CLAP: Gender-Attribute-Enhanced Contrastive Language-Audio Pretraining for Accurate Speech Emotion Recognition},
author = {Yu Pan and Yanni Hu and Yuguang Yang and Wen Fei and Jixun Yao and Heng Lu and Lei Ma and Jianjun Zhao},
journal= {arXiv preprint arXiv:2306.07848},
year = {2023}
}
备注
5 pages