基于钢琴音频的高分辨率 sustain pedal深度估计（跨房间声学条件下）
声音
2025-07-08 v1 人工智能
信息检索
音频与语音处理
摘要
钢琴sustain pedal检测以前的方法是将其作为二元的on/off分类任务，限制了其在sustain pedal深度显著影响音乐表达的真实世界钢琴演奏场景的应用。本文提出了一种 novel approach for high-resolution estimation that predicts continuous pedal depth values（高分辨率估计方法，可预测连续的pedal深度值）。我们引入了基于Transformer的架构，不仅在传统的二元分类任务上达到state-of-the-art性能，还在连续pedal深度估计方面实现了高准确率。此外，由于估计了连续值，our model为sustain pedal的使用提供了具有音乐意义的预测，而基线模型在其二元检测方法下难以捕捉这种细微的表达。此外，本文研究了房间声学对sustain pedal估计的影响，使用包含多种声学条件的合成数据集。我们使用不同的房间设置进行训练，并采用leave-one-out方法在未见的新环境中进行测试。我们的发现表明，两个基线模型和我们的方法对未见的房间条件不够稳健。统计分析进一步确认，混响对模型预测产生影响，并引入一种高估偏差。
引用
@article{arxiv.2507.04230,
title = {High-Resolution Sustain Pedal Depth Estimation from Piano Audio Across Room Acoustics},
author = {Kun Fang and Hanwen Zhang and Ziyu Wang and Ichiro Fujinaga},
journal= {arXiv preprint arXiv:2507.04230},
year = {2025}
}