CTL-MTNet：一种基于胶囊网络与迁移学习的混合任务网络用于单语料与跨语料语音情感识别
摘要
语音情感识别（SER）已成为人机交互中日益受到关注的研究焦点。SER 中的一个关键挑战是从不同说话人或语言中提取共性特征，特别是当必须使用特定源语料训练以识别来自另一语音语料的未知数据时。为应对该挑战，本文提出一种基于胶囊网络（CapsNet）与迁移学习的混合任务网络（CTLMTNet），可同时处理单语料与跨语料 SER 任务。对于单语料任务，通过将自注意力机制嵌入 CapsNet，设计了卷积-池化与注意力胶囊网络模块（CPAC），引导模块关注可输入不同胶囊的重要特征。CPAC 提取的高层特征具备充分的判别能力。此外，为处理跨语料任务，CTL-MTNet 结合 CPAC 与边际差异离散度（MDD）采用语料自适应对抗模块（CAAM），可通过提取强情感共性来学习领域不变的情感表示。我们使用四种不同语言的知名 SER 数据集，在单语料与跨语料任务上进行了包含消融研究与可视化的实验以进行性能评估与比较。结果表明，在两项任务中 CTL-MTNet 于所有情形下均优于若干最先进方法。源代码与补充材料见：https://github.com/MLDMXM2017/CTLMTNet
引用
@article{arxiv.2207.10644,
title = {CTL-MTNet: A Novel CapsNet and Transfer Learning-Based Mixed Task Net for the Single-Corpus and Cross-Corpus Speech Emotion Recognition},
author = {Xin-Cheng Wen and Jia-Xin Ye and Yan Luo and Yong Xu and Xuan-Ze Wang and Chang-Li Wu and Kun-Hong Liu},
journal= {arXiv preprint arXiv:2207.10644},
year = {2022}
}
备注
this paper has been accepted by IJCAI 2022. Please cite it by: Xin-Cheng Wen#, JiaXin Ye#, Yan Luo, Yong Xu, Xuan-Ze WANG, Chang-Li Wu, Kun-Hong Liu*, CTL-MTNet: A Novel CapsNet and Transfer Learning-Based Mixed Task Net for the Single-Corpus and Cross-Corpus Speech Emotion Recognition, IJCAI 2022