一种冷扩散方法用于打击乐器消余音

大多数近期在音频消余音方面的进展几乎只专注于语音，尽管打击乐器和鼓类信号在音乐制作中至关重要，却鲜有探索。打击乐器消余音因其尖锐的瞬态和密集的时间结构而面临独特挑战。本文提出一种冷扩散框架，用于消除立体声鼓组伴奏（混音信号），将混响建模为一种逐步将无混响信号转化为混响信号的确定性退化过程。我们检验了两种逆过程参数化方法：直接（下一个状态）和Delta归一化残差（速度样式）预测，并使用UNet和扩散Transformer骨架实现该框架。模型在包含声学鼓和电子鼓录音的精选数据集上进行训练和评估，混响使用合成和真实房间脉冲响应的组合生成。对域内和完全域外测试集进行大量实验，表明所提方法在针对打击乐音频的信号指标和感知指标下， consistently优于强大的基于得分和条件扩散基线。