PianoMotion10M：钢琴演奏手部运动生成数据集与基准
声音
2025-02-26 v2 人工智能
计算机视觉与模式识别
多媒体
音频与语音处理
摘要
近年来，用于教育的人工智能技术受到越来越多的关注，而设计有效的乐器教学系统仍然是一个悬而未决的问题。尽管按键动作可以直接从乐谱中推导出来，但按键之间的过渡动作在钢琴演奏中需要更广泛的指导。在这项工作中，我们构建了一个钢琴手部运动生成基准，用于指导钢琴演奏中的手部运动和指法。为此，我们收集了一个带注释的数据集PianoMotion10M，包含从鸟瞰视角拍摄的116小时钢琴演奏视频，并带有1000万个注释的手部姿态。我们还引入了一个强大的基线模型，该模型通过位置预测器和位置引导的手势生成器，从钢琴音频生成手部运动。此外，设计了一系列评估指标来评估基线模型的性能，包括运动相似性、平滑度、左右手位置准确性以及运动分布的整体保真度。尽管根据乐谱或音频的钢琴按键动作已经可以获取，但PianoMotion10M旨在为教学目的提供钢琴指法指导。源代码和数据集可在https://github.com/agnJason/PianoMotion10M获取。
引用
@article{arxiv.2406.09326,
title = {PianoMotion10M: Dataset and Benchmark for Hand Motion Generation in Piano Performance},
author = {Qijun Gan and Song Wang and Shengtao Wu and Jianke Zhu},
journal= {arXiv preprint arXiv:2406.09326},
year = {2025}
}
备注
ICLR 2025 Spotlight