Separate to Collaborate: 双流扩散模型用于协调钢琴手势合成
声音
2025-09-05 v2 计算机视觉与模式识别
音频与语音处理
摘要
自动化钢琴表演中双手协同动作的合成具有诸多挑战，尤其是要捕捉双手之间精妙的编排，同时保持各自的独立运动学特征。在本文中，我们提出了一种双流神经框架，用于从音频输入生成钢琴演奏的同步手势，解决了同时建模手部独立性与协调性的关键挑战。我们的框架引入了两个关键创新：(i) 一种解耦的基于扩散的生成框架，通过双噪声初始化独立建模每只手的运动，为每只手采样不同的初始 latent 噪声，同时利用 shared positional condition；(ii) 一种 Hand-Coordinated Asymmetric Attention（HCAA）机制抑制对称（common-mode）噪声，以突出非对称的手部特定特征，并在去噪过程中适应性地增强双手之间的协调。全面的评估表明，我们的框架在多个指标上均优于现有的 state-of-the-art 方法。我们的项目可在 https://monkek123king.github.io/S2C_page/ 上访问。
引用
@article{arxiv.2504.09885,
title = {Separate to Collaborate: Dual-Stream Diffusion Model for Coordinated Piano Hand Motion Synthesis},
author = {Zihao Liu and Mingwen Ou and Zunnan Xu and Jiaqi Huang and Haonan Han and Ronghui Li and Xiu Li},
journal= {arXiv preprint arXiv:2504.09885},
year = {2025}
}
备注
15 pages, 7 figures, Accepted to ACMMM 2025