Of All StrIPEs: 探讨面向高效音乐生成的结构信息位置编码
声音
2025-04-09 v1 人工智能
机器学习
机器学习
摘要
尽管音乐仍是生成模型（如Transformer）的难题领域，近期一种两管齐下的做法取得了成功：将与音乐结构相关的信息插入位置编码（PE）模块，同时基于随机傅里叶特征（RFF）的核近似技术将计算复杂度从二次降低到线性。然而，如何将RFF基础的高效PE与基于旋转矩阵的PE（如Rotary Positional Encoding, RoPE）进行比较尚不明了。本文提出一种基于核方法的统一框架，用于分析这两类高效PE。我们利用该框架开发了一种新型PE方法，称为RoPEPool，能够从时序序列中提取因果关系。使用RFF基础的PE和旋转基础的PE，我们展示了看似互不相关的PE如何通过考虑其所诱导的内容-上下文相互作用进行联合研究。为进行经验验证，我们使用符号音乐生成任务——旋律和声部和声。我们表明，RoPEPool结合高度信息化的结构先验条件，可优于所有方法。
引用
@article{arxiv.2504.05364,
title = {Of All StrIPEs: Investigating Structure-informed Positional Encoding for Efficient Music Generation},
author = {Manvi Agarwal and Changhong Wang and Gael Richard},
journal= {arXiv preprint arXiv:2504.05364},
year = {2025}
}