探索最低延迟实时钢琴转录的系统适配方法
音频与语音处理
2025-09-10 v1 机器学习
声音
摘要
神经网络设计的进步和大规模标注数据集的可用性推动了钢琴转录的重大进展。现有方法要么针对离线应用（无计算需求限制），要么针对在线转录（延迟为128-320毫秒）。然而，大多数实时音乐应用要求延迟低于30毫秒。在本工作中，我们研究当前最先进的在线转录模型是否可以以及如何被适配用于实时钢琴转录。具体而言，我们消除了所有非因果处理，并通过核心模型组件之间的共享计算和模型大小的变化来降低计算负载。此外，我们探讨了不同的预处理和后处理策略以及相关的标签编码方案，并讨论它们对实时转录的适用性。在MAESTRO数据集上评估这些适配后，我们发现在严格因果处理下转录精度会下降，以及预处理延迟与预测精度之间存在权衡。我们将系统作为基线发布，以支持研究人员设计最低延迟的实时转录模型。
引用
@article{arxiv.2509.07586,
title = {Exploring System Adaptations For Minimum Latency Real-Time Piano Transcription},
author = {Patricia Hu and Silvan David Peter and Jan Schlüter and Gerhard Widmer},
journal= {arXiv preprint arXiv:2509.07586},
year = {2025}
}
备注
to be published in Proceedings of the 26th International Society for Music Information Retrieval (ISMIR) Conference 2025, Daejeon, South Korea