基于学习的机器人人类协同钢琴演奏
机器人学
2024-09-19 v1
摘要
近期的机器学习进展为开发 musical 和 entertainment 机器人提供了可能。然而，由于复杂的运动协调和时间同步，人类-机器人协同乐器演奏仍然是一个挑战。本文提出了一个基于非语言线索的人类-机器人协同钢琴演奏的理论框架。首先，我们提出一种音乐即兴模型，使用循环神经网络（RNN）根据人类的旋律输入预测合适的和弦进行。其次，我们提出一种行为自适应控制器，以实现无缝的时间同步，使协作机器人能够生成和谐的声音。该协作过程考虑了人类和机器人之间双向信息流。我们开发了一个基于熵的系统，用于分析不同通信模式在人类-机器人协作中的影响，以评估合作质量。实验表明，我们的 RNN 基于即兴模型可实现 93% 的准确率。而且，借助 MPC 自适应控制器，机器人能够在和声演奏中实时响应人类队友。我们设计的框架被证明在允许人类和机器人就艺术性钢琴演奏任务进行协作工作中是有效的。
引用
@article{arxiv.2409.11952,
title = {Human-Robot Cooperative Piano Playing with Learning-Based Real-Time Music Accompaniment},
author = {Huijiang Wang and Xiaoping Zhang and Fumiya Iida},
journal= {arXiv preprint arXiv:2409.11952},
year = {2024}
}
备注
20 pages