面向高质量高效语音带宽扩展的并行幅度与相位预测
音频与语音处理
2024-12-17 v2 声音
信号处理
摘要
语音带宽扩展（BWE）是指拓宽语音信号的频率带宽范围，提升语音质量使其更明亮、更饱满。本文提出了一种基于生成对抗网络（GAN）的BWE模型，该模型并行预测幅度谱和相位谱，命名为AP-BWE，实现了高质量且高效的宽带语音波形生成。所提出的AP-BWE生成器完全基于卷积神经网络（CNN）。它采用具有相互交互的双流架构，其中幅度流和相位流相互通信，并分别从输入的窄带幅度谱和相位谱扩展高频分量。为了提高扩展语音信号的自然度，我们在波形级别使用多周期判别器，并在频谱级别分别设计了一对多分辨率幅度和相位判别器。实验结果表明，我们提出的AP-BWE在针对16 kHz和48 kHz采样率的BWE任务中，在语音质量方面达到了最先进的性能。在生成效率方面，由于全卷积架构和全帧级操作，所提出的AP-BWE在单个RTX 4090 GPU上可以比实时快292.3倍生成48 kHz波形样本，在单个CPU上比实时快18.1倍。值得注意的是，据我们所知，AP-BWE是首个实现高频相位谱直接扩展的方法，这有助于提高现有BWE方法的有效性。
引用
@article{arxiv.2401.06387,
title = {Towards High-Quality and Efficient Speech Bandwidth Extension with Parallel Amplitude and Phase Prediction},
author = {Ye-Xin Lu and Yang Ai and Hui-Peng Du and Zhen-Hua Ling},
journal= {arXiv preprint arXiv:2401.06387},
year = {2024}
}
备注
Accepted by IEEE/ACM Transactions on Audio, Speech, and Language Processing