基于一致的 onset 与 offset 解码及 sustain pedal 检测的流式钢琴转谱
声音
2025-03-04 v1 信息检索
多媒体
音频与语音处理
摘要
本文描述了一种流式音频到MIDI钢琴转谱方法，旨在依次将音乐信号翻译为音符 onset 和 offset 事件序列。此类任务的序列到序列特性可能需要计算密集的transformer模型以获得更佳性能，后者最近用于离线转谱基准测试，并可通过因果注意力机制扩展用于流式转谱。我们认为，这种单纯方法的局限性在于解码器。尽管用于 onset 检测和 offset 检测的时间频率特征相当不同，但单个解码器被训练输出混合的 onset 和 offset 事件序列，无法保证同一音符的 onset 和 offset 事件之间存在对应关系。为克服这一局限，我们提出了一种流式编码器-解码器模型，使用卷积编码器聚合局部声学特征，随后由一个自回归Transformer解码器检测可变数量的onset事件，以及另一个解码器检测具有有效性的sustain pedal 的活跃音高的offset事件。使用MAESTRO数据集进行的实验表明，所提流式方法在计算成本显著降低的同时，表现出与甚至优于最先进的离线方法相当的性能。
引用
@article{arxiv.2503.01362,
title = {Streaming Piano Transcription Based on Consistent Onset and Offset Decoding with Sustain Pedal Detection},
author = {Weixing Wei and Jiahao Zhao and Yulun Wu and Kazuyoshi Yoshii},
journal= {arXiv preprint arXiv:2503.01362},
year = {2025}
}
备注
Accepted to ISMIR 2024