大规模灵巧机器人钢琴演奏
机器人学
2025-11-05 v1
摘要
赋予机器人手人类水平的灵巧性一直是机器人学领域的长期目标。双臂机器人钢琴演奏是一项极具挑战性的任务：它是高维的、富接触的，并且需要快速、精确的控制。我们提出了 OmniPianist，这是首个能够通过可扩展的、无需人类演示的学习方法演奏近千首音乐作品的智能体。我们的方法建立在三个核心组件之上。首先，我们引入了一种基于最优传输（OT）的自动指法策略，使智能体能够在没有演示的情况下从零开始自主发现高效的钢琴演奏策略。其次，我们通过训练超过 2000 个各自专精于不同音乐作品的智能体来进行大规模强化学习（RL），并将其经验聚合为一个名为 RP1M++ 的数据集，其中包含超过一百万条机器人钢琴演奏轨迹。最后，我们采用 Flow Matching Transformer，通过大规模模仿学习利用 RP1M++，从而得到能够演奏广泛音乐作品的 OmniPianist 智能体。大量实验和消融研究突显了我们方法的有效性和可扩展性，推动了大规模灵巧机器人钢琴演奏的发展。
引用
@article{arxiv.2511.02504,
title = {Dexterous Robotic Piano Playing at Scale},
author = {Le Chen and Yi Zhao and Jan Schneider and Quankai Gao and Simon Guist and Cheng Qian and Juho Kannala and Bernhard Schölkopf and Joni Pajarinen and Dieter Büchler},
journal= {arXiv preprint arXiv:2511.02504},
year = {2025}
}