基于域对抗神经网络的无监督跨语言语音情感识别
音频与语音处理
2020-12-22 v1 人工智能
摘要
通过使用深度学习方法，单一域上的语音情感识别（SER）已取得许多优异成果。然而，由于源域与目标域之间的分布偏移，跨域 SER 仍是一项具有挑战性的任务。在本工作中，我们提出一种基于域对抗神经网络（DANN）的方法来缓解跨语言 SER 中的分布偏移问题。具体而言，我们在特征提取器之后添加语言分类器和梯度反转层，以迫使所学表征既与语言无关又具有情感意义。我们的方法为无监督的，即不需要目标语言的标签，这使得我们的方法更易应用于其他语言。实验结果表明，所提方法在唤醒度和效价分类任务上相较基线系统平均绝对提升了 3.91%。此外，我们发现批量归一化有益于 DANN 的性能提升。因此我们也就批量归一化不同数据组合方式的影响进行了探究。
引用
@article{arxiv.2012.11174,
title = {Unsupervised Cross-Lingual Speech Emotion Recognition Using DomainAdversarial Neural Network},
author = {Xiong Cai and Zhiyong Wu and Kuo Zhong and Bin Su and Dongyang Dai and Helen Meng},
journal= {arXiv preprint arXiv:2012.11174},
year = {2020}
}
备注
This paper has been accepted by ISCSLP2021