利用层级频域-时域 Transformer 的自动钢琴转写
声音
2023-07-11 v1 机器学习
音频与语音处理
摘要
考虑长期的频谱与时间依赖关系对于自动钢琴转写至关重要。这在确定复调钢琴内容中每个音符的精确起止时刻时尤为有用。在此情形下，我们可依赖 Transformers 中自注意力机制捕捉频域与时域轴上这些长期依赖的能力。在本工作中，我们提出 hFT-Transformer，一种采用两级层级频域-时域 Transformer 架构的自动音乐转写方法。第一级包含时域上的卷积块、频域上的 Transformer 编码器，以及将频域维度进行转换的 Transformer 解码器。其输出随后送入第二级，该级由时域上的另一个 Transformer 编码器组成。我们在广泛使用的 MAPS 与 MAESTRO v3.0.0 数据集上评估了我们的方法，并在帧、音符、带偏移音符以及带偏移与力度估计的所有指标的 F1 分数上均展现出最先进的性能。
引用
@article{arxiv.2307.04305,
title = {Automatic Piano Transcription with Hierarchical Frequency-Time Transformer},
author = {Keisuke Toyama and Taketo Akama and Yukara Ikemiya and Yuhta Takida and Wei-Hsiang Liao and Yuki Mitsufuji},
journal= {arXiv preprint arXiv:2307.04305},
year = {2023}
}
备注
8 pages, 6 figures, to be published in ISMIR2023