机器人打鼓的多感官学习框架
机器人学
2019-07-24 v1 计算机视觉与模式识别
声音
摘要
得益于深度学习的最新进展，关于感觉运动学习的炒作目前正达到高潮。本文提出一个开源框架，用于从音频、视频和本体感知等高度异质的感官模态中收集大规模、时间同步的合成数据，以学习机器人操作任务。我们展示了一个人形打鼓机器人利用跨模态对应关系从期望音频数据生成新颖运动序列的非线性感觉运动映射的学习。我们通过其跨模态检索的质量来评估我们的系统，以生成匹配期望未见音频或视频序列的合适运动序列。
引用
@article{arxiv.1907.09775,
title = {Multisensory Learning Framework for Robot Drumming},
author = {A. Barsky and C. Zito and H. Mori and T. Ogata and J. L. Wyatt},
journal= {arXiv preprint arXiv:1907.09775},
year = {2019}
}
备注
Extended abstract