通过显式带宽扩展提升合成声乐的声谱图真实感

本文旨在通过缓解合成语音与真实录音在高频声谱图成分上的可辨识差异，来增强声乐合成中声谱器生成音频的真实感。我们提出的方法结合了两种创新：一种利用针对时频数据的 DiT 神经网络架构优化的去噪扩散过程进行显式线性声谱图估计；以及一种基于 Vocos 重构的声谱器，其专为处理大型线性声谱图（增加频率 bin）而设计。该集成方法能够生成难以被人类听众和机器分类器区分于真实录音的高保真音频。客观与主观评估表明，我们的简化方法在保持高音频质量的同时，实现了该真实感。本工作在克服当前声谱技术在伪造声谱检测中的局限方面取得了实质性的进展。