解耦语言与信道差异性对语音分离网络的影响
声音
2022-06-22 v2 计算与语言
机器学习
多媒体
音频与语音处理
摘要
由于语音分离在两人完全重叠语音上表现优异，研究关注点已转向更真实的场景。然而，由于说话人、内容、信道和环境等因素导致的训练与测试间领域失配，仍是语音分离的严重问题。现有文献已研究说话人和环境失配，但关于语音内容与信道失配的研究很少。此外，这些研究中语言与信道的影响大多纠缠在一起。本研究构建了多个数据集用于各类实验。结果表明，与不同信道的影响相比，不同语言的影响小到可忽略。在我们的实验中，使用安卓手机录制的数据训练具有最佳泛化性。此外，我们通过评估投影为信道失配提供了新方案，可度量信道相似性并用于有效筛选额外训练数据，以提升真实场景测试数据的性能。
引用
@article{arxiv.2203.16040,
title = {Disentangling the Impacts of Language and Channel Variability on Speech Separation Networks},
author = {Fan-Lin Wang and Hung-Shin Lee and Yu Tsao and Hsin-Min Wang},
journal= {arXiv preprint arXiv:2203.16040},
year = {2022}
}
备注
Published in Interspeech 2022