Break-the-Beat!：可控的 MIDI 到鼓声合成
声音
2026-05-15 v1 人工智能
摘要
当前数字音乐制作中创建鼓循环音频的方法（如使用单采样或重采样）通常需要创作者付出大量精力。尽管近期的生成模型实现了高保真度并能遵循文本指令，但它们缺乏此类任务所需的特定控制能力。现有的符号到音频研究通常专注于单一的有调乐器，未能解决复音、打击乐鼓声合成的挑战。我们通过引入“Break-the-Beat!”来填补这一空白，这是一种能够以参考音频的音色渲染鼓 MIDI 的模型。它通过使用我们提出的内容编码器和有效的混合条件机制，对预训练的文本到音频模型进行微调而构建。为了实现这一点，我们利用现有的鼓音频数据集构建了一个新的配对目标-参考鼓音频数据集。实验表明，我们的模型生成的高质量鼓音频能够遵循高分辨率鼓 MIDI，在音频质量、节拍对齐和节拍连续性等指标上均取得了优异的性能。这为制作人提供了一种用于创意制作的全新可控工具。演示页面：https://ik4sumii.github.io/break-the-beat/
关键词
引用
@article{arxiv.2605.14555,
title = {Break-the-Beat! Controllable MIDI-to-Drum Audio Synthesis},
author = {Shuyang Cui and Zhi Zhong and Qiyu Wu and Zachary Novack and Woosung Choi and Keisuke Toyama and Kin Wai Cheuk and Junghyun Koo and Yukara Ikemiya and Christian Simon and Chihiro Nagashima and Shusuke Takahashi},
journal= {arXiv preprint arXiv:2605.14555},
year = {2026}
}