基于多轨音乐 Transformer 和 MusicBERT 的和弦感知符号音乐生成:MMT-BERT
声音
2024-09-04 v1 人工智能
音频与语音处理
摘要
我们提出了一种专为符号多轨音乐生成设计的新型符号音乐表示方法和生成对抗网络(GAN)框架。符号音乐生成的主要主题主要涉及音乐数据的预处理和深度学习框架的实现。当前致力于符号音乐生成的技术通常面临两个显著挑战:训练数据缺乏关于和弦和大调的背景信息,以及需要专门设计的模型架构以适应符号音乐表示的独特格式。在本文中,我们通过引入带有 MusicLang 和弦分析模型的新型符号音乐表示来解决上述问题。我们提出的 MMT-BERT 架构适用于该表示。为了构建稳健的多轨音乐生成器,我们微调预训练的 MusicBERT 模型作为判别器,并融入相对标准损失。该方法得益于对 MusicBERT 中编码的符号音乐的深入理解,增强了我们方法生成音乐的和谐性和人性化。实验结果表明,我们的方法严格遵循最先进的方法,效果有效。
引用
@article{arxiv.2409.00919,
title = {MMT-BERT: Chord-aware Symbolic Music Generation Based on Multitrack Music Transformer and MusicBERT},
author = {Jinlong Zhu and Keigo Sakurai and Ren Togo and Takahiro Ogawa and Miki Haseyama},
journal= {arXiv preprint arXiv:2409.00919},
year = {2024}
}
备注
Accepted to the 25th International Society for Music Information Retrieval Conference (ISMIR 2024)