Wavehax：基于 2D 卷积和谐波先验的无别名神经波形合成
声音
2025-12-08 v2 音频与语音处理
摘要
神经语音合成器常在潜在特征空间中遇到别名问题，由时域非线性操作和重采样层引起。别名将高频分量折叠到低频范围，使别名和原始频率分量难以区分，从而引发两个实际问题：其一，别名使波形生成过程复杂化，后续层必须处理这些别名效应，增加计算复杂度；其二，别名限制了外推性能，尤其在处理高基频时表现受损，影响生成语音波形的感知质量。本文证明：1）时域非线性操作不可避免地引入别名，但提供强大的谐波生成归纳偏置；2）时频域处理可实现无别名的波形合成，但缺乏有效谐波生成的归纳偏置。基于此洞察，我们提出 Wavehax，一种集成 2D 卷积和 HArmonic 先验的无别名神经 WAVEform 生成器，用于可靠的复合声谱图估计。实验结果表明，Wavehax 的语音质量相当于现有高保真神经语音合成器，尤其在需要高基频外推的场景中表现突出，别名效应通常最为严重。此外，Wavehax 的乘-累加运算和模型参数不足以 HiFi-GAN V1 的 5%，CPU 推理速度快超过 4 倍。
引用
@article{arxiv.2411.06807,
title = {Wavehax: Aliasing-Free Neural Waveform Synthesis Based on 2D Convolution and Harmonic Prior for Reliable Complex Spectrogram Estimation},
author = {Reo Yoneyama and Atsushi Miyashita and Ryuichi Yamamoto and Tomoki Toda},
journal= {arXiv preprint arXiv:2411.06807},
year = {2025}
}
备注
13 pages, 5 figures. A peer-reviewed and revised version of this work has been accepted for publication in IEEE TASLP and is available as open access (https://ieeexplore.ieee.org/document/11216102). The accepted paper includes more solid discussions and additional experiments that are not reflected in this preprint