LaunchpadGPT：作为Launchpad音乐可视化设计器的语言模型
声音
2025-10-09 v3 计算与语言
多媒体
音频与语音处理
摘要
Launchpad是一种通过按压发光按钮来创作和演奏音乐的音乐乐器。为了辅助并启发Launchpad灯光效果的设计，并为初学者提供更易上手的使用该乐器创作音乐可视化的途径，我们提出了LaunchpadGPT模型，用于自动生成Launchpad上的音乐可视化设计。基于具有优异生成能力的语言模型，我们提出的LaunchpadGPT以一段音频音乐作为输入，并以视频形式（Launchpad演奏视频）输出Launchpad演奏的灯光效果。我们收集Launchpad演奏视频并对其进行处理，获得音乐及对应的Launchpad演奏视频帧作为提示-补全对，以训练语言模型。实验结果表明，所提方法比随机生成方法能创造更好的音乐可视化，并具有在更广泛音乐可视化应用中的潜力。我们的代码可在 https://github.com/yunlong10/LaunchpadGPT/ 获取。
引用
@article{arxiv.2307.04827,
title = {LaunchpadGPT: Language Model as Music Visualization Designer on Launchpad},
author = {Siting Xu and Yolo Yunlong Tang and Feng Zheng},
journal= {arXiv preprint arXiv:2307.04827},
year = {2025}
}
备注
Accepted to International Computer Music Conference (ICMC) 2023