FürElise：捕捉与物理合成钢琴演奏的手部运动

钢琴演奏需要敏捷、精确且协调的手部控制，这挑战了灵巧性的极限。能够精确再现钢琴演奏的复杂手部运动模型在角色动画、具身人工智能、生物力学和虚拟现实/增强现实等领域具有广泛的应用。在本文中，我们构建了首个大规模数据集，其中包含来自 15 位精英级钢琴家演奏 153 首古典音乐作品的约 10 小时 3D 手部运动和音频数据。为了捕捉自然演奏，我们设计了一种无标记设置，通过使用最先进的姿态估计模型从多视角视频中重建运动。运动数据进一步通过逆运动学进行细化，该过程使用了从专用雅马哈 Disklavier 钢琴传感器获得的高分辨率 MIDI 按键数据。利用收集到的数据集，我们开发了一个流程，可以为数据集之外的乐谱合成物理上合理的手部运动。我们的方法结合了模仿学习和强化学习，以获得涉及手与钢琴键交互的基于物理的双手控制策略。为了解决大数据集的采样效率问题，我们使用扩散模型生成自然的参考运动，这些运动提供了高层轨迹和指法（手指顺序和位置）信息。然而，仅靠生成的参考运动不足以提供钢琴演奏建模所需的精度。然后，我们通过使用音乐相似性从捕获的数据集中检索相似运动来进一步扩充数据，以提高强化学习策略的精度。通过所提出的方法，我们的模型生成了自然、灵巧的运动，这些运动可以泛化到训练数据集之外的音乐。