BiVocoder: 一种集成特征提取与波形生成的双向神经声码器

本文提出了一种新颖的双向神经声码器，名为 BiVocoder，它能够在短时傅里叶变换域内同时进行特征提取和反向波形生成。在特征提取方面，BiVocoder 将 STFT 导出的幅度谱和相位谱作为输入，通过卷积神经网络将其转换为长帧移、低维度的特征。实验证明，提取的特征适合由声学模型直接预测，支持其在文本到语音任务中的应用。在波形生成方面，BiVocoder 通过对称网络从特征中恢复幅度谱和相位谱，然后通过逆 STFT 重建语音波形。实验结果表明，通过综合考虑分析-合成和 TTS 任务的合成语音质量和推理速度，我们提出的 BiVocoder 相比一些基线声码器取得了更好的性能。