情感语音混合条件下语音分离性能退化的分析
声音
2023-09-15 v1 音频与语音处理
摘要
尽管语音分离近期取得了进展，大多数模型仍在中性情感数据集上训练。已知情感语音会降低模型在多种语音任务中的性能，从而削弱这些模型在真实场景部署时的有效性。本文通过实验分析，区分由语音中情感引起的性能退化与域外推理的影响。我们使用精心设计的测试数据集 Emo2Mix 进行测量，该集包含所有情感组合的均衡数据。我们表明，即便具备强域外性能的模型（如 Sepformer）在强情感混合语音上仍会出现高达 5.1 dB SI-SDRi 的显著退化。这证明了在真实世界语音分离应用中考虑情感因素的重要性。
引用
@article{arxiv.2309.07458,
title = {Analysis of Speech Separation Performance Degradation on Emotional Speech Mixtures},
author = {Jia Qi Yip and Dianwen Ng and Bin Ma and Chng Eng Siong},
journal= {arXiv preprint arXiv:2309.07458},
year = {2023}
}
备注
Accepted by APSIPA ASC 2023