嵌套音乐变换器：符号化音乐与音频生成中的复合标记顺序解码
声音
2026-03-17 v2 信息检索
机器学习
音频与语音处理
摘要
将符号化音乐表示为复合标记（compound tokens），其中每个标记由多个不同子标记组成，分别表示音乐的不同特征或属性，可减少序列长度。虽然先前研究已验证复合标记在音乐序列建模中的有效性，但同时预测所有子标记可能导致次优结果，因其未能完全捕捉子标记之间的相互依赖关系。我们引入嵌套音乐变换器（NMT），一种为自动解码复合标记而设计的体系结构，类似于处理展平化标记的方式，却具有低内存开销。NMT 包含两个变换器：主解码器用于建模复合标记序列，子解码器用于建模每个复合标记的子标记。实验结果表明，将 NMT 应用于复合标记可在处理多种符号化音乐数据集以及来自 MAESTRO 数据集的离散音频标记时，提升性能，表现为更好的困惑度。
引用
@article{arxiv.2408.01180,
title = {Nested Music Transformer: Sequentially Decoding Compound Tokens in Symbolic Music and Audio Generation},
author = {HaeJun Yoo and Hao-Wen Dong and Jongmin Jung and Dasaem Jeong},
journal= {arXiv preprint arXiv:2408.01180},
year = {2026}
}
备注
Accepted at 25th International Society for Music Information Retrieval Conference (ISMIR 2024)