解构得分内容与演奏风格以实现联合钢琴渲染与转谱
声音
2025-09-30 v1 人工智能
多媒体
音频与语音处理
摘要
表现风格渲染(EPR)和自动钢琴转谱(APT)是音乐信息检索中的基本且互为反向的任务:EPR 从符号化谱面生成表达性演奏,而 APT 从演奏中恢复谱面。尽管二者性质互为反映,但以往工作独立地解决这两个问题。本文提出了一个统一框架,通过从配对和非配对数据中解构音符级谱面内容和全局演奏风格表示来联合建模EPR和APT。我们的框架基于基于Transformer的序列到序列架构,使用序列对齐数据进行训练,无需细粒度的音符级对齐。在确保风格与谱面兼容的同时自动化渲染过程,我们引入了一个独立的基于扩散的演奏风格推荐模块,直接从谱面内容生成风格嵌入。该模块化组件支持风格迁移和在多种表达风格下的灵活渲染。实验结果通过客观和主观评估表明,我们的框架在EPR和APT任务上实现了竞争性能,同时实现了有效的内容-风格解耦、可靠的风格迁移和风格恰当的渲染。演示可在 https://jointpianist.github.io/epr-apt/ 查看。
引用
@article{arxiv.2509.23878,
title = {Disentangling Score Content and Performance Style for Joint Piano Rendering and Transcription},
author = {Wei Zeng and Junchuan Zhao and Ye Wang},
journal= {arXiv preprint arXiv:2509.23878},
year = {2025}
}
备注
30 pages, 13 figures