基于梯度下降的声道面积估计
声音
2023-07-11 v1 音频与语音处理
摘要
发音特征可通过允许用户直接修改如声带张力或嘴唇位置等参数,为人类发声的合成提供可解释且灵活的控制。为使这种通过重合成的操控成为可能,我们需要直接从音频录音中估计产生所需发声的特征。在本工作中,我们提出一种白盒优化技术,用于从人类元音的音频录音中估计声门源参数与声道形状。该方法基于逆滤波,并通过梯度下降优化声道波导模型频率响应,将误差梯度经发音特征到声道面积函数的映射反向传播。我们将此方法应用于使交互式发音合成器 Pink Trombone 的声音匹配给定发声的任务。我们发现,该方法能准确恢复由 Pink Trombone 自身生成的音频的控制函数。随后我们将该技术与进化优化算法及一个训练用于从音频预测控制参数的神经网络进行比较。主观评价发现,在重现人类发声的任务上,我们的方法优于这些黑盒优化基线。
引用
@article{arxiv.2307.04702,
title = {Vocal Tract Area Estimation by Gradient Descent},
author = {David Südholt and Mateo Cámara and Zhiyuan Xu and Joshua D. Reiss},
journal= {arXiv preprint arXiv:2307.04702},
year = {2023}
}
备注
Accepted to DAFx 2023