PianoFlow：基于双手协调的音乐感知流式钢琴动作生成
计算机视觉与模式识别
2026-04-16 v2
摘要
音频驱动的双手钢琴动作生成需要精确建模复杂的音乐结构和动态的手间协调。然而，现有方法常依赖仅包含声学表征且缺乏符号先验的模型，采用僵化的交互机制，且局限于计算昂贵的短序列生成。为此，我们提出 PianoFlow——一个用于精确且协调的双手钢琴动作合成的 flow-matching 框架。我们的方法战略性地在训练期间将 MIDI 作为特权模态，以提炼这些结构化音乐先验实现深层语义理解，同时保持仅使用音频的推理。此外，我们引入一个非对称的角色门控交互模块，通过角色感知注意力和时序门控显式捕获动态手间协调。为实现任意长度序列的实时流式生成，我们设计了一种自回归 flow continuation scheme，以确保跨块时序连贯性。广泛的实验在 PianoMotion10M 数据集上进行，表明 PianoFlow 在定量和定性方面均实现了优异性能，同时将推理速度提高了 9 倍以上。
引用
@article{arxiv.2604.12856,
title = {PianoFlow: Music-Aware Streaming Piano Motion Generation with Bimanual Coordination},
author = {Xuan Wang and Kai Ruan and Jiayi Han and Kaiyue Zhou and Gaoang Wang},
journal= {arXiv preprint arXiv:2604.12856},
year = {2026}
}