基于自监督学习的多任务预训练单通道语音增强
声音
2022-01-02 v1 音频与语音处理
摘要
在自监督学习中，利用已有预任务缩小估计语音信号与目标语音信号在增强性能上的差距具有挑战性。本文提出一种多任务预训练方法，以通过自监督学习提升语音增强性能。在预训练自编码器(PAE)中，仅需有限的一组干净语音信号来学习其潜在表示。同时，为解决单一预任务的局限性，所提出的掩码模块利用去混响掩码和估计比率掩码对混合语音去噪作为第二预任务。与估计目标语音信号的PAE不同，下游任务自编码器(DAE)利用大量未标记且未见的混响混合语音来生成估计混合语音。训练好的DAE由学习到的表示和掩码共享。在基准数据集上的实验结果表明，所提方法优于当前最优方法。
引用
@article{arxiv.2112.11459,
title = {Self-Supervised Learning based Monaural Speech Enhancement with Multi-Task Pre-Training},
author = {Yi Li and Yang Sun and Syed Mohsen Naqvi},
journal= {arXiv preprint arXiv:2112.11459},
year = {2022}
}
备注
Submitted to ICASSP 2022. arXiv admin note: text overlap with arXiv:2112.11142