基于 CycleGAN 的带自适应注意力中注意力机制的非并行语音增强
声音
2021-09-15 v2 音频与语音处理
摘要
非并行训练是基于 DNN 的语音增强方法的一项困难但必要的任务，因为许多真实场景中缺乏充足的含噪与配对干净语音语料库。本文中，我们提出了一种新颖的用于非并行语音增强的自适应注意力中注意力 CycleGAN（AIA-CycleGAN）。在先前基于 CycleGAN 的非并行语音增强方法中，生成器有限的映射能力可能导致性能下降与特征学习不足。为缓解此退化，我们提出将自适应时频注意力（ATFA）与自适应分层注意力（AHA）相整合，形成注意力中注意力（AIA）模块，以在映射过程中实现更灵活的特征学习。更具体地，ATFA 可捕获长程时-谱上下文信息以获得更有效的特征表示，而 AHA 可根据全局上下文通过自适应注意力权重灵活聚合不同 ATFA 的中间输出特征图。大量实验结果表明，所提方法在非并行训练中相比先前基于 GAN 和基于 CycleGAN 的方法取得了一致更优的性能。此外，并行训练中的实验验证了所提 AIA-CycleGAN 也优于大多数先进的基于 GAN 和非 GAN 的语音增强方法，尤其在保持语音完整性与降低语音失真方面。
引用
@article{arxiv.2107.13143,
title = {CycleGAN-based Non-parallel Speech Enhancement with an Adaptive Attention-in-attention Mechanism},
author = {Guochen Yu and Yutian Wang and Chengshi Zheng and Hui Wang and Qin Zhang},
journal= {arXiv preprint arXiv:2107.13143},
year = {2021}
}
备注
Accepted by APSIPA-ASC 2021 (7 pages)