基于听觉与触觉的鲁棒机器人倒水
机器人学
2021-05-12 v2 人工智能
机器学习
声音
音频与语音处理
摘要
液体高度鲁棒而准确的估计是服务机器人倒水任务的重要组成部分。然而，基于视觉的方法常在遮挡条件下失效，而基于音频的方法在噪声环境中表现不佳。我们转而提出一种多模态倒水网络（MP-Net），能够通过以听觉与触觉输入为条件鲁棒地预测液体高度。MP-Net 在自采集的多模态倒水数据集上训练。该数据集包含 300 段机器人倒水记录，带有音频与力/力矩测量，涉及三类目标容器。我们还通过插入机器人噪声来增强音频数据。我们在所采集的数据集与多种机器人实验上评估了 MP-Net。网络训练结果与机器人实验均表明，MP-Net 对噪声及任务与环境的变化具有鲁棒性。此外，我们进一步结合预测高度与力数据来估计目标容器的形状。
引用
@article{arxiv.2003.00342,
title = {Robust Robotic Pouring using Audition and Haptics},
author = {Hongzhuo Liang and Chuangchuang Zhou and Shuang Li and Xiaojian Ma and Norman Hendrich and Timo Gerkmann and Fuchun Sun and Marcus Stoffel and Jianwei Zhang},
journal= {arXiv preprint arXiv:2003.00342},
year = {2021}
}
备注
accepted by IROS2020