PianoMime：从互联网演示中学习通用且灵巧的钢琴家
计算机视觉与模式识别
2024-07-26 v1 人工智能
机器人学
摘要
本文介绍 PianoMime，一个利用互联网演示训练钢琴演奏智能体的框架。互联网是训练机器人智能体的大规模演示来源。对于钢琴演奏而言，YouTube 上充满了专业钢琴师演奏各种歌曲的视频。我们利用这些演示来学习一个能够演奏任意歌曲的通用钢琴演奏智能体。我们的框架分为三个部分：数据准备阶段从YouTube视频中提取有益特征，策略学习阶段从演示中训练歌曲特定的专家策略，策略蒸馏阶段将这些策略蒸馏到单个通用智能体。我们探讨了不同的策略设计来表示智能体，并评估了训练数据量对其对新歌曲（数据集中未出现的歌曲）的泛化能力的影响。我们展示，能够在未见歌曲上取得最高56%的 F1 分数。
引用
@article{arxiv.2407.18178,
title = {PianoMime: Learning a Generalist, Dexterous Piano Player from Internet Demonstrations},
author = {Cheng Qian and Julen Urain and Kevin Zakka and Jan Peters},
journal= {arXiv preprint arXiv:2407.18178},
year = {2024}
}