基于 RNN 的在线神经语音分离系统的设计与训练策略
声音
2023-02-22 v2 音频与语音处理
摘要
尽管离线神经语音分离系统的性能因近期新颖神经网络架构的发展而大幅提升，但这些系统与其在线变体之间通常存在不可避免的性能差距。本文研究了如何将基于 RNN 的离线神经语音分离系统改为其在线对应系统，同时缓解性能退化。我们将双向 RNN 层中的前向和后向 RNN 层分解或重组，形成在线路径与离线路径，使模型能够使用同一组模型参数进行在线和离线处理。我们进一步引入了两种训练策略，通过预训练的离线模型或多任务训练目标来改进在线模型。实验结果表明，与从头训练的在线模型相比，所提出的层分解与重组方案及训练策略能有效缩小两种基于 RNN 的离线分离模型与其在线变体之间的性能差距。
引用
@article{arxiv.2206.07340,
title = {On the Design and Training Strategies for RNN-based Online Neural Speech Separation Systems},
author = {Kai Li and Yi Luo},
journal= {arXiv preprint arXiv:2206.07340},
year = {2023}
}
备注
Accepted by ICASSP2023