频谱图块编码：一种2D块量化的VQ-VAE与HiFi-GAN用于神经语音编码
声音
2025-09-03 v1 计算与语言
音频与语音处理
摘要
我们提出了一种神经语音编码器，通过引入更简单、单阶段量化方法来挑战复杂残差向量量化（RVQ）堆栈的需求。该方法直接作用于mel频谱图，将其视为二维数据，将非重叠4x4块量化为单个共享码本。这种块状设计简化了网络结构，使其支持低延迟流式传输，并产生离散潜在网格。为确保高保真度合成，我们采用后期对抗式微调训练VQ-VAE，并从解码器重构的频谱图从头开始训练HiFi-GAN声码器。该系统在约7.5 kbps（16 kHz语音）下的表现被评估于多种最新神经编码器，综合指标包括STOI、PESQ、MCD和ViSQOL。结果表明，简化的非残差体系结构在感知质量和可理解性方面实现了与当前方法相当的表现，验证了其作为高效低延迟编码器设计的可行且开放的基础。
引用
@article{arxiv.2509.02244,
title = {Spectrogram Patch Codec: A 2D Block-Quantized VQ-VAE and HiFi-GAN for Neural Speech Coding},
author = {Luis Felipe Chary and Miguel Arjona Ramirez},
journal= {arXiv preprint arXiv:2509.02244},
year = {2025}
}