通过下一尺度预测实现高效自回归音频建模

音频生成在随着精密生成模型(如扩散模型和自回归模型)的进步方面取得了显著进展。然而，由于音频的自然序列长度显著，音频生成的效率仍是一个亟待解决的关键问题，特别是对于集成到大型语言模型(LLMs)中的自回归模型。本文分析了音频分词的token长度，提出一种新的Scale-level Audio Tokenizer(SAT)，以改进残差量化。基于SAT，进一步提出一种scale-level Acoustic AutoRegressive(AAR)建模框架，该框架将下一个token的自回归预测转移到下一尺度的自回归预测中，显著降低了训练成本和推理时间。为验证所提方法的有效性，我们全面分析了设计选择，表明所提出的AAR框架在AudioSet基准上实现了约$35\times$的推理速度提升和+$1.33$ Fr\'echet Audio Distance(FAD)改进。代码: \url{https://github.com/qiuk2/AAR}。