探究维度语音情感分析中的显著表示与标签方差
声音
2023-12-29 v1 人工智能
计算与语言
机器学习
摘要
源自 BERT (Bidirectional Encoder Representations from Transformers) 和 HuBERT (Hidden units BERT) 等模型的表示有助于在维度语音情感识别中实现最先进 (state-of-the-art) 的性能。尽管这些表示具有高维性，且并非专为情感识别任务定制，但它们常被用于训练具有高内存和计算成本的大型语音情感模型。在这项工作中，我们表明在这些预训练的表示空间内存在低维子空间，能够在不牺牲情感估计性能的情况下降低下游模型的复杂度。此外，我们将标签不确定性建模为评分者意见方差的形式，并证明此类信息可以提高模型的泛化能力和鲁棒性。最后，我们比较了情感模型对抗声学退化的鲁棒性，观察到降维表示能够保持与全维表示相似的性能，而在维度情感性能上没有显著回归。
引用
@article{arxiv.2312.16180,
title = {Investigating salient representations and label Variance in Dimensional Speech Emotion Analysis},
author = {Vikramjit Mitra and Jingping Nie and Erdrin Azemi},
journal= {arXiv preprint arXiv:2312.16180},
year = {2023}
}
备注
5 pages