用于无监督与半监督语音分离的师生MixIT
声音
2021-09-10 v3 计算与语言
音频与语音处理
摘要
在本文中，我们介绍了一种用于端到端语音分离的新型半监督学习框架。所提方法首先使用未分离源的混合以及混合不变训练（MixIT）准则来训练教师模型。随后教师模型估计分离出的源，用于以标准排列不变训练（PIT）训练学生模型。学生模型可利用监督数据（即配对的人工混合与干净语音源）进行微调，并通过模型蒸馏进一步提升。在单通道与多通道混合上的实验表明，师生训练解决了原始MixIT方法中观察到的过度分离问题。此外，该半监督性能可与使用十倍监督数据训练的完全监督分离系统相媲美。
引用
@article{arxiv.2106.07843,
title = {Teacher-Student MixIT for Unsupervised and Semi-supervised Speech Separation},
author = {Jisi Zhang and Catalin Zorila and Rama Doddipatla and Jon Barker},
journal= {arXiv preprint arXiv:2106.07843},
year = {2021}
}
备注
Accepted to Interspeech 2021