MixCycle：基于循环混合排列不变训练的无监督语音分离
音频与语音处理
2023-01-11 v2 机器学习
声音
信号处理
摘要
我们介绍了两种无监督源分离方法，其涉及来自单通道双源语音混合的自我监督训练。我们的第一种方法，混合排列不变训练（MixPIT），能够学习一个神经网络模型，该模型通过一个具有挑战性的代理任务在无参考源监督的情况下分离底层源。我们的第二种方法，循环混合排列不变训练（MixCycle），以循环方式使用 MixPIT 作为构建模块进行持续学习。MixCycle 逐渐将问题从分离混合的混合转换为分离单一混合。我们将我们的方法与常见的监督与无监督基线进行比较：动态混合的排列不变训练（PIT-DM）与混合不变训练（MixIT）。我们表明 MixCycle 优于 MixIT 并达到非常接近监督基线（PIT-DM）的性能水平，同时规避了 MixIT 的过度分离问题。此外，我们提出了一种受 MixCycle 启发的自评估技术，可在不使用任何参考源的情况下估计模型性能。我们表明其与在参考源（LibriMix）上的评估以及真实混合数据集（REAL-M）上进行的非正式试听测试结果一致。
引用
@article{arxiv.2202.03875,
title = {MixCycle: Unsupervised Speech Separation via Cyclic Mixture Permutation Invariant Training},
author = {Ertuğ Karamatlı and Serap Kırbız},
journal= {arXiv preprint arXiv:2202.03875},
year = {2023}
}
备注
5 pages. This article has been accepted for publication in IEEE Signal Processing Letters