韵律引导的谐波注意力用于复频谱中相位相干的神经声码器

神经声码器是语音合成的核心；尽管取得了成功，但大多数仍受限于有限的韵律建模和不精确的相位重建。我们提出了一种声码器，它引入韵律引导的谐波注意力来增强浊音段编码，并直接预测复频谱分量，通过逆短时傅里叶变换进行波形合成。与基于梅尔频谱图的方法不同，我们的设计联合建模幅度和相位，确保相位相干性和改进的基频保真度。为了进一步与感知质量对齐，我们采用了一种多目标训练策略，整合了对抗性、频谱和相位感知损失。在基准数据集上的实验表明，与HiFi-GAN和AutoVocoder相比，取得了持续改进：基频均方根误差降低了22%，浊音/清音错误降低了18%，平均意见得分提高了0.15。这些结果表明，韵律引导的注意力结合直接复频谱建模能够产生更自然、基频更准确且更鲁棒的合成语音，为富有表现力的神经声码器奠定了坚实基础。