MERaLiON-SER：面向英语和东南亚语言的鲁棒语音情感识别模型
声音
2025-11-13 v3 人工智能
摘要
我们提出 MERaLiON-SER，一个为英语和东南亚语言设计的鲁棒语音情感识别模型。该模型使用加权类别交叉熵和 Concordance Correlation Coefficient（CCC）损失的混合目标进行训练，以实现离散情感建模和维度情感建模的联合训练。这种双重方法使模型能够捕捉情感的不同类别（如快乐或愤怒）以及更细粒度的特征，如唤醒度（强度）、价值（正面/负面）和支配度（控制感），从而实现对人类情感的更全面和鲁棒表示。广泛的评估覆盖多语言新加坡语言（英语、中文、马来语和泰米尔语）以及其他公开基准，显示 MERaLiON-SER 在准确率上持续超过开源语音编码器和大型 Audio-LLMs。这些结果凸显了针对准确语义理解和跨语言泛化的专用语音模型的重要性。此外，所提出的框架为将情感感知集成到未来智能语音系统中提供了基础，使其能够实现更具同理心和情境自适应的多模态推理。
引用
@article{arxiv.2511.04914,
title = {MERaLiON-SER: Robust Speech Emotion Recognition Model for English and SEA Languages},
author = {Hardik B. Sailor and Aw Ai Ti and Chen Fang Yih Nancy and Chiu Ying Lay and Ding Yang and He Yingxu and Jiang Ridong and Li Jingtao and Liao Jingyi and Liu Zhuohan and Lu Yanfeng and Ma Yi and Manas Gupta and Muhammad Huzaifah Bin Md Shahrin and Nabilah Binte Md Johan and Nattadaporn Lertcheva and Pan Chunlei and Pham Minh Duc and Siti Maryam Binte Ahmad Subaidi and Siti Umairah Binte Mohammad Salleh and Sun Shuo and Tarun Kumar Vangani and Wang Qiongqiong and Won Cheng Yi Lewis and Wong Heng Meng Jeremy and Wu Jinyang and Zhang Huayun and Zhang Longyin and Zou Xunlong},
journal= {arXiv preprint arXiv:2511.04914},
year = {2025}
}
备注
https://huggingface.co/MERaLiON/MERaLiON-SER-v1