重新审视跨语料库语音情感识别基准测试：副语言预训练表示是否足够？
音频与语音处理
2025-09-22 v1
摘要
近期评估跨语料库语音情感识别（SER）预训练模型（PTM）的基准测试忽略了为副语言语音处理（PSP）预训练的 PTM，这引发了对其可靠性的担忧，因为 SER 本质上是一项副语言任务。我们假设专注于 PSP 的 PTM 在跨语料库 SER 设置中将表现更好。为了验证这一点，我们分析了最先进的 PTM 表示，包括副语言、单语、多语言和说话人识别模型。我们的结果证实 TRILLsson（一种副语言 PTM）优于其他模型，这强化了在跨语料库 SER 基准测试中考虑专注于 PSP 的 PTM 的必要性。本研究提高了基准测试的可信度，并为可靠的跨语料库 SER 指导了 PTM 评估。
引用
@article{arxiv.2509.16182,
title = {Rethinking Cross-Corpus Speech Emotion Recognition Benchmarking: Are Paralinguistic Pre-Trained Representations Sufficient?},
author = {Orchid Chetia Phukan and Mohd Mujtaba Akhtar and Girish and Swarup Ranjan Behera and Parabattina Bhagath and Pailla Balakrishna Reddy and Arun Balaji Buduru},
journal= {arXiv preprint arXiv:2509.16182},
year = {2025}
}
备注
Accepted to APSIPA-ASC 2025