如何选取并使用工具?：基于多模态深度学习的目标物体主动感知
机器人学
2021-06-07 v1 机器学习
摘要
在执行日常任务时选择合适的工具并加以使用,是将机器人引入家庭应用的一项关键功能。然而在以往研究中,对目标物体的适应性有限,难以相应地更换工具并调整动作。为使用工具操控各类物体,机器人必须既理解工具功能,又识别物体特征,以辨明工具-物体-动作关系。我们关注机器人与物体交互时利用多模态感觉运动数据的主动感知,使机器人能够识别物体的外在和内在特征。我们构建了一个深度神经网络(DNN)模型,该模型学习识别物体特征、获取工具-物体-动作关系,并生成用于工具选取与操作的运动。作为工具使用情境的示例,机器人执行食材转移任务,使用锅铲或汤勺将食材从锅中转移到碗中。结果证实,即便目标食材未知,机器人也能识别物体特征与份量。我们还考察了图像、力与触觉数据的贡献,表明学习多种多模态信息可带来丰富的工具使用感知。
引用
@article{arxiv.2106.02445,
title = {How to select and use tools? : Active Perception of Target Objects Using Multimodal Deep Learning},
author = {Namiko Saito and Tetsuya Ogata and Satoshi Funabashi and Hiroki Mori and Shigeki Sugano},
journal= {arXiv preprint arXiv:2106.02445},
year = {2021}
}
备注
Best Paper Award of Cognitive Robotics in ICRA2021 IEEE Robotics and Automation Letters 2021, Proceedings of the 2021 International Conference on Robotics and Automation (ICRA 2021), 2021