Tipiano：基于指尖先验的级联钢琴手部动作合成
人工智能
2026-04-14 v1 计算机视觉与模式识别
摘要
合成逼真的钢琴手部动作需要精确性与自然性。基于物理的方法实现精确性但产生僵硬动作；数据驱动模型学习自然动力学但在位置精确性方面存在挑战。钢琴动作具有自然的层次结构：给定钢琴几何结构和指法后，指尖位置近乎确定，而手腕和中间关节提供艺术自由度。我们提出[OURS]，一个四阶段框架利用这一层次结构：（1）统计学指尖定位，（2）FiLM 条件化轨迹细化，（3）手腕估计，（4）STGCN 基于姿态合成。我们为 F"urElise 数据集贡献专家标注的指法（153 件作品，约10小时）。实验表明F1=0.910，显著优于扩散基线（F1=0.121），用户研究（N=41）确认质量接近动作捕捉。专家评估（N=5名钢琴家）识别出预期动作是剩余关键差距，为未来改进提供了具体方向。
引用
@article{arxiv.2604.09692,
title = {Tipiano: Cascaded Piano Hand Motion Synthesis via Fingertip Priors},
author = {Joonhyung Bae and Kirak Kim and Hyeyoon Cho and Sein Lee and Yoon-Seok Choi and Hyeon Hur and Gyubin Lee and Akira Maezawa and Satoshi Obata and Jonghwa Park and Jaebum Park and Juhan Nam},
journal= {arXiv preprint arXiv:2604.09692},
year = {2026}
}