Framewise WaveGAN：时域极低计算复杂度高速对抗声码器
音频与语音处理
2023-03-03 v2 机器学习
声音
信号处理
摘要
GAN 声码器目前是构建高质量神经波形生成模型的先进方法之一。然而，它们大多数架构需要每秒数十亿次浮点运算(GFLOPS)以采样方式生成语音波形。这使得 GAN 声码器在没有加速器或并行计算机的正常 CPU 上运行仍具挑战性。在本工作中，我们提出一种新的 GAN 声码器架构，主要依赖循环和全连接网络以帧方式直接生成时域信号。这导致计算成本大幅降低，并能在 GPU 和低复杂度 CPU 上实现极快生成。实验结果表明，我们的 Framewise WaveGAN 声码器在 1.2 GFLOPS 的极低复杂度下实现了显著高于自回归最大似然声码器(如 LPCNet)的质量。这使得 GAN 声码器在边缘和低功耗设备上更实用。
引用
@article{arxiv.2212.04532,
title = {Framewise WaveGAN: High Speed Adversarial Vocoder in Time Domain with Very Low Computational Complexity},
author = {Ahmed Mustafa and Jean-Marc Valin and Jan Büthe and Paris Smaragdis and Mike Goodwin},
journal= {arXiv preprint arXiv:2212.04532},
year = {2023}
}
备注
Accepted to ICASSP 2023, demo: https://ahmed-fau.github.io/fwgan_demo/