ViTex：基于离散扩散模型的多轨符号音乐生成的视觉织体控制
声音
2026-03-03 v1 符号计算
摘要
在自动音乐生成中，一个核心挑战是设计能够实现有意义的人机交互的控制方式。现有系统通常依赖文本提示或元数据等外部输入，这不允许人类直接塑造作品。虽然先前的工作探索了和弦或层次结构等内在控制，但这些方法主要针对钢琴或人声伴奏设置，多轨符号音乐在很大程度上仍未得到充分探索。我们确定配器，即乐器的选择及其角色，是多轨创作中一个自然的控制维度，并提出了ViTex，一种乐器织体的视觉表示。在ViTex中，颜色编码乐器选择，空间位置表示音高和时间，笔画属性捕捉局部织体。基于这种表示，我们开发了一个以ViTex和和弦进行为条件的离散扩散模型，用于生成8小节的多轨符号音乐，实现了显式的织体级控制，同时保持了强大的无条件生成质量。演示页面和代码可在 https://vitex2025.github.io/ 获取。
引用
@article{arxiv.2603.01984,
title = {ViTex: Visual Texture Control for Multi-Track Symbolic Music Generation via Discrete Diffusion Models},
author = {Xiaoyu Yi and Qi He and Gus Xia and Ziyu Wang},
journal= {arXiv preprint arXiv:2603.01984},
year = {2026}
}