基于延迟可控BLSTM的语句级置换不变训练用于单通道多说话人语音分离
声音
2019-12-30 v1 机器学习
音频与语音处理
摘要
语句级置换不变训练（uPIT）在单通道多说话人语音分离任务上取得了令人瞩目的进展。长短期记忆（LSTM）和双向LSTM（BLSTM）被广泛用作uPIT的分离网络，即uPIT-LSTM和uPIT-BLSTM。uPIT-LSTM延迟较低但性能较差，而uPIT-BLSTM性能较好但延迟较高。在本文中，我们提出在推理时使用延迟可控BLSTM（LC-BLSTM）以实现低延迟且性能良好的语音分离。为寻找基于BLSTM的分离网络的更好训练策略，我们比较了块级PIT（cPIT）和uPIT。实验结果表明，当推理时使用LC-BLSTM，uPIT优于cPIT。还发现块间说话人追踪（ST）可进一步提升uPIT-LC-BLSTM的分离性能。在WSJ0双说话人混合语音分离任务上评估，uPIT-BLSTM与uPIT-LC-BLSTM之间的信失真比（SDR）绝对差距缩小至0.7 dB以内。
引用
@article{arxiv.1912.11613,
title = {Utterance-level Permutation Invariant Training with Latency-controlled BLSTM for Single-channel Multi-talker Speech Separation},
author = {Lu Huang and Gaofeng Cheng and Pengyuan Zhang and Yi Yang and Shumin Xu and Jiasong Sun},
journal= {arXiv preprint arXiv:1912.11613},
year = {2019}
}
备注
Proceedings of APSIPA Annual Summit and Conference 2019, 18-21 November 2019, Lanzhou, China