自动舞台灯光控制：是规则驱动过程还是生成式任务？
机器学习
2026-01-01 v2 人工智能
多媒体
音频与语音处理
摘要
舞台灯光是现场音乐表演的重要组成部分，为音乐家和观众塑造了引人入胜的体验。近年来，由于雇佣或培训专业灯光工程师的成本高昂，自动舞台灯光控制（ASLC）引起了越来越多的兴趣。然而，现有的多数 ASLC 解决方案仅将音乐划分为有限的类别并映射到预定义的灯光模式，导致公式化且单调的结果，缺乏合理性。为了填补这一空白，本文提出了 Skip-BART，一种直接向经验丰富的灯光工程师学习并预测生动、拟人化舞台灯光的端到端模型。据我们所知，这是首次将 ASLC 概念化为生成式任务而不仅仅是分类问题的工作。我们的方法对 BART 模型进行了调整，以音频音乐作为输入，并以灯光色调和明度（强度）作为输出，并引入了新颖的跳跃连接机制以增强帧网格内音乐与灯光之间的关系。为了解决可用数据集缺乏的问题，我们创建了首个舞台灯光数据集，并提供了几种预训练和迁移学习技术以在数据有限的情况下改善模型训练。我们通过定量分析和人工评估验证了我们的方法，结果表明 Skip-BART 在所有评估指标上均优于传统的基于规则的方法，并且与真实的灯光工程师相比仅表现出有限的差距。为了支持进一步的研究，我们已在 https://github.com/RS2002/Skip-BART 开放了自行收集的数据集、代码和训练好的模型参数。
引用
@article{arxiv.2506.01482,
title = {Automatic Stage Lighting Control: Is it a Rule-Driven Process or Generative Task?},
author = {Zijian Zhao and Dian Jin and Zijing Zhou and Xiaoyu Zhang},
journal= {arXiv preprint arXiv:2506.01482},
year = {2026}
}