机器人声音解释：在学习控制中结合视觉与听觉
机器人学
2020-09-17 v2 人工智能
机器学习
摘要
受人类语音理解的启发，我们探索了声音解释用于机器人决策。以往的方法将声音处理单元与机器人控制器分离，而我们提出了一种端到端的深度神经网络，该网络直接解释声音指令以进行基于视觉的决策。该网络使用强化学习进行训练，并在视觉和声音网络上施加辅助损失。我们在两个机器人上演示了我们的方法：一个 TurtleBot3 和一个 Kuka-IIWA 机械臂，它们听到一个命令词，识别出相关的目标物体，并执行精确控制以到达目标。对于这两个机器人，我们通过实验展示了我们的网络在泛化到不同声音类型和机器人任务方面的有效性。我们成功地将模拟器中学习到的策略迁移到了真实的 TurtleBot3 上。
引用
@article{arxiv.1909.09172,
title = {Robot Sound Interpretation: Combining Sight and Sound in Learning-Based Control},
author = {Peixin Chang and Shuijing Liu and Haonan Chen and Katherine Driggs-Campbell},
journal= {arXiv preprint arXiv:1909.09172},
year = {2020}
}
备注
Published as a conference paper in IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2020