用于通用声音分离的对抗置换不变训练
声音
2023-03-07 v2 机器学习
音频与语音处理
摘要
通用声音分离旨在分离包含任意不同类型声音的混合信号，置换不变训练（PIT）被用于训练实现此目标的源无关模型。本工作中，我们以对抗损失补充PIT，但发现其在语音源分离常用的标准形式下具有挑战性。我们通过一种新颖的基于I替换上下文的对抗损失以及使用多个判别器克服了这一挑战。我们的实验表明，仅通过改进损失（保持相同模型与数据集），我们在混响FUSS数据集上获得了1.4 dB SI-SNRi的不可忽略的提升。我们还发现对抗PIT能有效减少基于掩码的分隔模型中普遍存在的频谱空洞，这凸显了对抗损失在源分离中的潜在相关性。
引用
@article{arxiv.2210.12108,
title = {Adversarial Permutation Invariant Training for Universal Sound Separation},
author = {Emilian Postolache and Jordi Pons and Santiago Pascual and Joan Serrà},
journal= {arXiv preprint arXiv:2210.12108},
year = {2023}
}
备注
Demo page: http://jordipons.me/apps/adversarialPIT/, Accepted at ICASSP-23