面向跨语料语音情感识别的层适配隐式分布对齐网络
声音
2023-10-09 v1 音频与语音处理
摘要
本文提出一种名为层适配隐式分布对齐网络（LIDAN）的新型无监督域自适应（DA）方法，以解决跨语料语音情感识别（SER）的挑战。LIDAN 扩展了我们先前 ICASSP 工作——深度隐式分布对齐网络（DIDAN），其关键贡献在于引入了称为隐式分布对齐（IDA）的新正则化项。该项使得在源（训练）语音样本上训练的 DIDAN 仍适用于预测目标（测试）语音样本的情感标签，而不受跨语料 SER 中语料差异的影响。为进一步增强该方法，我们将 IDA 扩展为层适配 IDA（LIDA），从而得到 LIDAN。该层适配扩展由三个考虑不同粒度情感标签的改进 IDA 项组成。这些项被策略性地布置于 LIDAN 中不同的全连接层内，与随层深增加而增强的情感判别能力相一致。相比 DIDAN，这种布置使 LIDAN 能更有效地学习用于跨语料 SER 的情感判别且语料不变特征。同样值得注意的是，与多数依赖估计统计矩来描述预先假定的显式分布的现有方法不同，IDA 与 LIDA 采取了不同思路。它们利用目标样本重构的思想，直接弥合特征分布差距，而无需对其分布类型作假设。因此，DIDAN 与 LIDAN 可视为隐式跨语料 SER 方法。为评估 LIDAN，我们在 EmoDB、eNTERFACE 与 CASIA 语料上进行了广泛的跨语料 SER 实验。实验结果表明，在解决跨语料 SER 任务方面，LIDAN 超越了近期最先进的显式无监督 DA 方法。
引用
@article{arxiv.2310.03992,
title = {Layer-Adapted Implicit Distribution Alignment Networks for Cross-Corpus Speech Emotion Recognition},
author = {Yan Zhao and Yuan Zong and Jincen Wang and Hailun Lian and Cheng Lu and Li Zhao and Wenming Zheng},
journal= {arXiv preprint arXiv:2310.03992},
year = {2023}
}