用耳朵玩：通过视听模仿学习在遮挡中习得技能
机器人学
2022-05-31 v1 机器学习
声音
音频与语音处理
摘要
人类能够完成一系列具有挑战性的操作任务，这些任务需要对视觉、触觉和声音等模态进行联合推理。此外，许多此类任务是部分可观测的；例如，从背包中取出笔记本会导致视觉遮挡，并需要对音频或触觉信息的历史进行推理。虽然在机器人上获取稳健的触觉传感可能代价高昂，但位于机器人夹爪附近或之上的麦克风是一种廉价且简便的获取接触事件音频反馈的方式，在缺乏视觉时，它可作为令人惊讶地有价值的感知数据源。受声音缓解视觉遮挡潜力的启发，我们旨在从视觉和音频输入中学习一组具有挑战性的部分可观测操作任务。我们提出的系统通过结合来自少量遥操作演示的离线模仿学习，以及使用人工提供干预的在线微调来学习这些任务。在一组模拟任务中，我们发现我们的系统受益于使用音频，并且通过使用在线干预，我们能够将离线模仿学习的成功率提高约 20%。最后，我们发现我们的系统能够在 Franka Emika Panda 机器人上以 70% 的成功率完成一组具有挑战性的部分可观测任务（如从包中取出钥匙），比不使用音频的策略高 50%。
引用
@article{arxiv.2205.14850,
title = {Play it by Ear: Learning Skills amidst Occlusion through Audio-Visual Imitation Learning},
author = {Maximilian Du and Olivia Y. Lee and Suraj Nair and Chelsea Finn},
journal= {arXiv preprint arXiv:2205.14850},
year = {2022}
}