QINCODEC: 具有隐式神经码本的神经音频压缩
声音
2025-03-26 v1 信号处理
摘要
神经音频编解码器，即压缩波形为离散令牌的神经网络，在最近的音频生成模型发展中起着关键作用。最先进的编解码器依赖于自编码器和量化瓶颈的端到端训练。然而，这种方法限制了量化方法的选择，因为它需要定义梯度如何通过量化器传播以及如何在线更新量化参数。在这项工作中，我们重新审视了联合训练的常见做法，并提出离线量化预训练自编码器的潜在表示，然后可选地微调解码器以减轻量化带来的退化。这种策略允许考虑任何现成的量化器，特别是具有隐式神经码本的最先进的可训练量化器，如QINCO2。我们证明，使用后者，我们提出的编解码器称为QINCODEC，与基线编解码器具有竞争力，同时训练起来明显更简单。最后，我们的方法提供了一个通用框架，分摊了自编码器预训练的成本，并实现了更灵活的编解码器设计。
引用
@article{arxiv.2503.19597,
title = {QINCODEC: Neural Audio Compression with Implicit Neural Codebooks},
author = {Zineb Lahrichi and Gaëtan Hadjeres and Gael Richard and Geoffroy Peeters},
journal= {arXiv preprint arXiv:2503.19597},
year = {2025}
}