面向低资源老年语音情感识别的跨语言跨年龄组适配
计算与语言
2023-06-27 v1 声音
音频与语音处理
摘要
语音情感识别在人机交互中起着关键作用。然而，大多数语音情感识别研究偏向于说英语的成年人，这阻碍了其在不同语言和年龄组的其他人群中的适用性。在本工作中，我们分析了情感识别在三种不同语言——英语、普通话和粤语，以及两个不同年龄组——成年人和老年人之间的可迁移性。为开展实验，我们构建了一个面向成年人与老年人的英汉语音情感基准 BiMotion，以及一个粤语语音情感数据集 YueMotion。本研究得出结论：不同语言和年龄组需要特定的语音特征，因此跨语言推理并非合适的方法。然而，跨组的数据增强仍有益于对模型进行正则化，且语言距离对跨语言可迁移性有显著影响。我们在 https://github.com/HLTCHKUST/elderly_ser 公开发布了代码。
引用
@article{arxiv.2306.14517,
title = {Cross-Lingual Cross-Age Group Adaptation for Low-Resource Elderly Speech Emotion Recognition},
author = {Samuel Cahyawijaya and Holy Lovenia and Willy Chung and Rita Frieske and Zihan Liu and Pascale Fung},
journal= {arXiv preprint arXiv:2306.14517},
year = {2023}
}
备注
Accepted in INTERSPEECH 2023