APCodec：一种并行幅度与相位谱编解码的神经音频编解码器
声音
2024-09-25 v2 音频与语音处理
摘要
本文提出了一种针对高波形采样率和低比特率的新型神经音频编解码器，命名为 APCodec，它无缝集成了参数编解码器和波形编解码器的优势。APCodec 通过像参数编解码器那样并发处理幅度谱和相位谱作为音频参数特征，彻底改变了音频编解码过程。它由以改进的 ConvNeXt v2 网络为主干的编码器和解码器组成，两者通过基于残差向量量化（RVQ）机制的量化器连接。编码器并行压缩音频的幅度谱和相位谱，将其融合为时间分辨率降低的连续潜在码。该码随后被量化器量化。最终，解码器并行重建音频幅度谱和相位谱，并通过逆短时傅里叶变换获得解码波形。为了确保解码音频的保真度，训练 APCodec 时联合采用了频谱级损失、量化损失以及基于生成对抗网络（GAN）的损失。为了支持低延迟流式推理，我们在 APCodec 中采用了前馈层和因果反卷积层，并结合知识蒸馏训练策略以提升解码音频的质量。实验结果证实，我们提出的 APCodec 能够以仅 6 kbps 的比特率对 48 kHz 音频进行编码，且解码音频质量无显著下降。在相同比特率下，与 Encodec、AudioDec 和 DAC 等知名编解码器相比，我们提出的 APCodec 还展现出更优的解码音频质量和更快的生成速度。
引用
@article{arxiv.2402.10533,
title = {APCodec: A Neural Audio Codec with Parallel Amplitude and Phase Spectrum Encoding and Decoding},
author = {Yang Ai and Xiao-Hang Jiang and Ye-Xin Lu and Hui-Peng Du and Zhen-Hua Ling},
journal= {arXiv preprint arXiv:2402.10533},
year = {2024}
}
备注
Published at IEEE/ACM Transactions on Audio, Speech, and Language Processing