ConcealNet：一种用于深度语音情感识别中丢包隐藏的端到端神经网络
音频与语音处理
2020-05-19 v1 机器学习
声音
摘要
丢包是数据传输中的常见问题，包括语音数据传输。这可能影响广泛流式传输音频数据的应用，如流媒体应用或语音情感识别（SER）。丢包隐藏（PLC）是应对丢包的任何技术。简单的 PLC 基线是 0-替换或线性插值。在本文中，我们提出了一种隐藏包装器，可与堆叠循环神经单元一起使用。该隐藏单元可提供一个循环神经网络（ConcealNet），在推理时执行实时的逐步端到端 PLC。此外，将其与端到端情感预测神经网络结合，提供了一个从带丢失帧的音频中端到端执行 SER 的网络。所提模型与上述基线进行了比较。另外，采用了性能更好的双向变体。为评估，我们选择了公开 RECOLA 数据集，因其具有带连续情感标签的长音频轨。ConcealNet 在音频重建及随后预测对应情感的质量上进行了评估。所提 ConcealNet 模型在无不长时持续丢失的环境中，即使频繁丢失，也在音频重建和对应情感预测上显示出显著改进。
引用
@article{arxiv.2005.07777,
title = {ConcealNet: An End-to-end Neural Network for Packet Loss Concealment in Deep Speech Emotion Recognition},
author = {Mostafa M. Mohamed and Björn W. Schuller},
journal= {arXiv preprint arXiv:2005.07777},
year = {2020}
}
备注
Submission for INTERSPEECH 2020. 4 Pages + 1 references page. 4 Tables, 3 Figures