VampNet：基于掩码声学词元建模的音乐生成
声音
2023-07-13 v2 人工智能
音频与语音处理
摘要
我们介绍了 VampNet，一种用于音乐合成、压缩、修复和变奏的掩码声学词元建模方法。我们在训练时使用可变掩码调度，从而能够在推理时通过应用多种掩码方法（称为提示）从模型中采样出连贯的音乐。VampNet 是非自回归的，利用双向 transformer 架构在前向传播中关注所有词元。仅需 36 次采样过程，VampNet 即可生成连贯的高保真音乐波形。我们表明，通过以多种方式提示 VampNet，可将其应用于音乐压缩、修复、外推、续写和带变奏的循环（vamping）等任务。在适当提示下，VampNet 能够保持音乐的风格、流派、配器及其他高层特征。这种灵活的提示能力使 VampNet 成为强大的音乐协同创作工具。代码与音频样本已在线提供。
引用
@article{arxiv.2307.04686,
title = {VampNet: Music Generation via Masked Acoustic Token Modeling},
author = {Hugo Flores Garcia and Prem Seetharaman and Rithesh Kumar and Bryan Pardo},
journal= {arXiv preprint arXiv:2307.04686},
year = {2023}
}