大词表语音标记器索引崩溃的双解码产品量化变分自编码器
声音
2024-06-06 v1 音频与语音处理
摘要
VQ-VAE作为语音标记器的主流方法，面临“索引崩溃”问题，即在大词表中仅激活少数少量词码。本工作提出采用产品量化(PQ)的VAE方法，通过增加词汇表数量但减少每个词汇表中的词码数量来解决此问题，从而构建大词表语音标记器。它将语音特征编码为多个VQ子空间，并将其组合成更大词汇表中的词码。此外，为充分利用每个VQ子空间，我们还通过包含编码和量化序列的双解码训练策略来增强PQ-VAE。实验结果表明，PQ-VAE有效解决了“索引崩溃”问题，尤其是在更大词汇表方面。采用本方案训练的模型进一步提高了词汇表困惑度和重构质量，优于其他多词汇表VQ方法。最后，PQ-VAE在基于语言模型的语音合成(TTS)中证明其有效性，支持更高质量的语音生成。
引用
@article{arxiv.2406.02940,
title = {Addressing Index Collapse of Large-Codebook Speech Tokenizer with Dual-Decoding Product-Quantized Variational Auto-Encoder},
author = {Haohan Guo and Fenglong Xie and Dongchao Yang and Hui Lu and Xixin Wu and Helen Meng},
journal= {arXiv preprint arXiv:2406.02940},
year = {2024}
}