Onsets and Velocities：基于卷积神经网络的低成本实时钢琴转写
声音
2023-06-02 v2 音频与语音处理
摘要
复调钢琴转写近来取得了实质性进展，这得益于复杂深度学习方法的运用以及音符起音、止音、力度和踏板检测等新子任务的引入。这一进展伴随着所提出模型复杂度和规模的提升，通常依赖于非实时组件和高分辨率数据。在本工作中，我们聚焦于起音和力度检测，表明一种使用较低时间分辨率（24ms）的显著更小且更简单的卷积方法仍具竞争力：我们提出的ONSETS&VELOCITIES模型在MAESTRO数据集上取得了起音检测的最先进性能（F1=96.78%），并为起音+力度检测确立了良好的新基线（F1=94.50%），同时具有约3.1M参数并在普通商用硬件上保持实时能力。我们提供开源代码以复现结果，以及带有预训练模型的实时演示。
引用
@article{arxiv.2303.04485,
title = {Onsets and Velocities: Affordable Real-Time Piano Transcription Using Convolutional Neural Networks},
author = {Andres Fernandez},
journal= {arXiv preprint arXiv:2303.04485},
year = {2023}
}
备注
Accepted at EUSIPCO 2023