APCodec+: 一种基于频谱编码的分阶段训练范式高保真高压缩率神经音频编解码器

本文提出了一种新颖的神经音频编解码器，命名为APCodec+，它是APCodec的改进版本。APCodec+以音频幅度谱和相位谱为编码对象，并采用对抗训练策略。创新性地，我们为APCodec+提出了一种两阶段联合-独立训练范式。在联合训练阶段，编码器、量化器、解码器和判别器在完整的频谱损失、量化损失和对抗损失下进行联合训练。在独立训练阶段，编码器和量化器固定其参数，并为解码器和判别器提供高质量的训练数据。解码器和判别器从头开始独立训练，不使用量化损失。引入独立训练的目的是降低解码器的学习难度，从而进一步提高解码音频的保真度。实验结果证实，得益于所提出的分阶段训练范式，我们提出的APCodec+在低比特率下实现了与基线编解码器在更高比特率下相当的性能。