基于瞬态与频谱合成的可微打击乐音频建模
声音
2023-09-14 v1 音频与语音处理
摘要
可微数字信号处理（DDSP）技术，包括音频合成方法，近年来受到关注，并在参数空间上具备可解释性。然而，当前可微合成方法尚未显式寻求对信号的瞬态部分建模，而该部分对打击乐声音十分重要。本工作中，我们提出一个统一合成框架，旨在 DDSP 框架内解决瞬态生成与打击乐合成问题。为此，我们提出一种基于正弦建模合成的打击乐合成模型，并引入一个经调制的时序卷积网络用于瞬态生成。我们使用改进的正弦峰值拾取算法生成时变非谐波正弦分量，并将其与可微噪声及瞬态编码器配对，联合训练以重建鼓组声音。我们利用大规模声学与电子打击乐样本数据集计算了一组重建指标，表明我们的方法可改善膜鸣打击乐器起音信号的重建。
引用
@article{arxiv.2309.06649,
title = {Differentiable Modelling of Percussive Audio with Transient and Spectral Synthesis},
author = {Jordie Shier and Franco Caspe and Andrew Robertson and Mark Sandler and Charalampos Saitis and Andrew McPherson},
journal= {arXiv preprint arXiv:2309.06649},
year = {2023}
}
备注
To be published in The Proceedings of Forum Acusticum, Sep 2023, Turin, Italy