使用循环嵌套循环生成对抗网络进行非平行语音增强的联合幅度估计与相位恢复
声音
2022-02-15 v4 音频与语音处理
摘要
由于在许多实际场景中缺乏足够的配对噪声-干净语音语料库，非平行训练是基于深度神经网络（DNN）的语音增强方法中一项有前景的任务。然而，由于输入语音与目标语音之间存在严重的不匹配，许多先前的研究仅关注幅度谱估计而保持相位不变，导致在低信噪比条件下语音质量下降。为解决这一问题，我们将相对于原始频谱优化的困难目标解耦为频谱幅度和相位，并提出一种新颖的循环嵌套循环生成对抗网络（称为 CinCGAN），在非配对数据下分阶段联合估计频谱幅度和相位信息。在第一阶段，我们预训练一个幅度 CycleGAN 以粗略估计干净语音的频谱幅度。在第二阶段，我们将预训练的 CycleGAN 与一个复值 CycleGAN 结合为循环嵌套循环结构，以同时恢复相位信息并细化整体频谱。实验结果表明，所提出的方法在非平行训练下显著优于先前基线。使用标准配对数据训练模型的评估也显示，CinCGAN 在降低背景噪声和减少语音失真方面取得了显著性能。
引用
@article{arxiv.2109.12591,
title = {Joint magnitude estimation and phase recovery using Cycle-in-Cycle GAN for non-parallel speech enhancement},
author = {Guochen Yu and Andong Li and Yutian Wang and Yinuo Guo and Hui Wang and Chengshi Zheng},
journal= {arXiv preprint arXiv:2109.12591},
year = {2022}
}
备注
Accecpted by ICASSP 2022