语言模型亦是鼓手：基于自然语言预训练的鼓点作曲
声音
2023-01-04 v1 计算与语言
音频与语音处理
摘要
基于人工智能的自动音乐生成通常需要大量数据，而对于许多较冷门的流派与乐器而言难以获取。为应对此问题，我们呈现了一项进行中的工作及初步发现，探讨深度模型从语言向音乐迁移知识的可能性：将在大规模文本语料上预训练的大型语言模型，仅在数百个鼓演奏 MIDI 文件上微调。我们展示，通过此举，最大的、最先进的模型之一（GPT3）能够生成合理的鼓律动（drum grooves），而未经过预训练的模型（Transformer）除朴素重复外不具此能力。评估生成音乐是一项挑战性任务，评估鲜有文献先例的鼓律动则更甚。因此，我们提出一种量身定制的结构化评估方法，并将 GPT3 生成的鼓律动与human 专业鼓手演奏的进行比较，揭示此类语言到音乐迁移生成的优势与不足。我们的发现表明，利用大型语言模型的语言到音乐迁移学习是可行且大有前景的。
引用
@article{arxiv.2301.01162,
title = {Language Models are Drummers: Drum Composition with Natural Language Pre-Training},
author = {Li Zhang and Chris Callison-Burch},
journal= {arXiv preprint arXiv:2301.01162},
year = {2023}
}
备注
Accepted to the 1st workshop on Creative AI across Modalities in AAAI 2023