条件化循环神经网络以合成乐器瞬态
声音
2019-03-27 v1 机器学习
音频与语音处理
摘要
一个循环神经网络（RNN）被训练用于基于由音高、音量与乐器识别的控制参数信息所增强的音频输入来预测声音采样。在训练后的生成阶段，音频输入取自前一时间步的输出，而参数由外部控制，使该网络可如乐器般被演奏。基于先前工作所开发的架构，我们聚焦于瞬态的学习与合成——即控制信号起始与终止后短时间内（数十毫秒）网络的时间响应。我们发现该网络学习了两种不同合成乐器的特定瞬态特征，并且进一步显示出针对新颖参数设置而在训练所用乐器特征间进行某种插值的能力。我们还使用多种可视化技术研究 RNN 隐藏层单元的行为，发现了多种特定于音量的响应特征。
引用
@article{arxiv.1903.10703,
title = {Conditioning a Recurrent Neural Network to synthesize musical instrument transients},
author = {Lonce Wyse and Muhammad Huzaifah},
journal= {arXiv preprint arXiv:1903.10703},
year = {2019}
}
备注
Sound and Music Computing Conference. Malaga, Spain, May 2019