关注琴键：基于 Transformer 的视觉钢琴转录
计算机视觉与模式识别
2025-09-30 v2
摘要
视觉钢琴转录（VPT）是仅从视觉信息（例如钢琴键盘的俯视视频）中获取钢琴演奏符号表示的任务。在本工作中，我们提出了一种基于视觉 Transformer（ViT）的 VPT 系统，它超越了以往基于卷积神经网络（CNN）的方法。我们的系统在新引入的 R3 数据集上进行了训练，该数据集包含约 31 小时同步的钢琴演奏视频与 MIDI 录音。此外，我们引入了一种预测音符偏移的方法，这在之前的该任务背景下尚未被探索。我们表明，我们的系统在 PianoYT 数据集的音符起始预测以及 R3 数据集的音符起始与偏移预测上均优于现有技术。
引用
@article{arxiv.2411.09037,
title = {Pay Attention to the Keys: Visual Piano Transcription Using Transformers},
author = {Uros Zivanovic and Ivan Pilkov and Carlos Eduardo Cancino-Chacón},
journal= {arXiv preprint arXiv:2411.09037},
year = {2025}
}
备注
IJCAI 2025 Camera Ready