一种用于语音情感识别迁移学习的带改进距离损失的连体神经网络
计算机视觉与模式识别
2020-06-05 v1 机器学习
摘要
自动情感识别在人机交互与物联网(IOT)技术设计中起着重要作用。然而,情感识别系统的一个常见问题在于可靠标签的稀缺。通过建模感兴趣样本之间的成对差异,连体网络可帮助缓解这一挑战,因为它比传统深度学习方法需要更少的样本。本文提出一种距离损失,可应用于连体网络的微调,通过基于同类与异类样本对之间的相关距离来优化模型。我们的系统利用源数据样本预训练所提连体神经网络的权重,并基于目标数据进行微调。我们提出一项使用语音的情感识别任务,因为语音是最普遍且最常用的生物行为信号之一。我们的目标数据来自RAVDESS数据集,而CREMA-D与eNTERFACE'05分别用作源数据。我们的结果表明,所提距离损失能够极大裨益连体网络的微调过程。此外,相较于冻结层的数量,源数据的选择对连体网络性能的影响更大。这些表明在自动情感识别的迁移学习领域中,应用连体网络与建模成对差异具有巨大潜力。
引用
@article{arxiv.2006.03001,
title = {A Siamese Neural Network with Modified Distance Loss For Transfer Learning in Speech Emotion Recognition},
author = {Kexin Feng and Theodora Chaspari},
journal= {arXiv preprint arXiv:2006.03001},
year = {2020}
}
备注
AffCon@AAAI-20; Presented at AAAI-20 W1: Affective Content Analysis