通过辅助任务学习增强用于物体识别、定位与抓取的神经认知共享视觉运动模型
计算机视觉与模式识别
2020-10-06 v1 机器人学
摘要
我们展示了一项关于统一视觉运动神经模型的后续研究，该模型用于在有多个物体的场景中对目标物体进行识别、定位和抓取的机器人任务。我们基于Retinanet的模型能够以受生物启发的发展式方法进行视觉运动能力的端到端训练。在初始实现中，一个神经模型能够从平面抓取选定物体。我们将该模型具身于NICO人形机器人上。在本后续研究中，我们扩展了任务和模型，利用基于增强现实和仿真环境的新型数据集，在三维空间中伸手抓取物体。我们评估了使用辅助任务训练的影响，即若主要视觉运动任务的学习得到学习和定位不同物体分类的支持。我们展示了所提出的视觉运动模型能够学习在三维空间中伸手抓取物体。我们基于物体位置或属性分析了具有生物合理偏差的结果。我们表明主要视觉运动任务可以成功地与两个辅助任务之一同时训练。这由一个具有共享和任务特定组件的复杂神经认知模型实现，类似于生物系统中发现的模型。
引用
@article{arxiv.2009.12674,
title = {Enhancing a Neurocognitive Shared Visuomotor Model for Object Identification, Localization, and Grasping With Learning From Auxiliary Tasks},
author = {Matthias Kerzel and Fares Abawi and Manfred Eppe and Stefan Wermter},
journal= {arXiv preprint arXiv:2009.12674},
year = {2020}
}
备注
Matthias Kerzel and Fares Abawi contributed equally to this work