半监督跨语言语音情感识别
声音
2023-09-15 v2 人工智能
机器学习
音频与语音处理
摘要
得益于深度学习技术，近年来单一语言的语音情感识别(SER)性能大幅提升。然而，由于两个主要因素，跨语言SER在真实应用中仍具挑战：其一是源域与目标域分布之间的巨大差距；其二是新语言中标有标签的语句相对于未标记语句在可用性上占少数。考虑到前述方面，我们提出了一种半监督学习(SSL)方法用于跨语言情感识别，其在目标域（即新语言）中仅有少量标记样本可用。我们的方法基于Transformer，并通过在未标记语句上利用伪标签策略来适应新域。特别地，研究了硬伪标签与软伪标签方法的使用。我们在说话人无关的设定下对源语言与新语言上的所提方法性能进行了全面评估，并展示了其在分属不同语系的五种语言上的鲁棒性。实验结果表明，与最先进的方法相比，未加权准确率平均提高了40%。
引用
@article{arxiv.2207.06767,
title = {Semi-supervised cross-lingual speech emotion recognition},
author = {Mirko Agarla and Simone Bianco and Luigi Celona and Paolo Napoletano and Alexey Petrovsky and Flavio Piccoli and Raimondo Schettini and Ivan Shanin},
journal= {arXiv preprint arXiv:2207.06767},
year = {2023}
}