通过对比学习从演示中提取视觉注意力作为机器人抓取的示能性线索
机器人学
2021-08-17 v3 人工智能
机器学习
摘要
从演示中学习抓取示能性的传统工作需显式预测抓取配置，如夹爪接近角度或抓取预形状。经典运动规划器随后可利用此类预测配置采样轨迹。本工作中，我们的目标是通过基于深度神经网络的端到端模仿学习框架，填补示能性发现与基于示能性的策略学习之间的鸿沟，将两者目标相整合。从心理学视角看，注意力与示能性之间存在紧密关联。因此，我们利用端到端神经网络，提出将示能性线索作为视觉注意力来学习，其作为演示者如何完成任务的有用指示信号，而非对示能性进行显式建模。为此，我们提出一个由孪生编码器与轨迹解码器组成的对比学习框架。我们进一步引入耦合三元组损失，以促使所发现的示能性线索更具示能性相关性。实验结果表明，采用耦合三元组损失的模型在模拟机器人环境中取得了最高的抓取成功率。我们的项目网站可访问 https://sites.google.com/asu.edu/affordance-aware-imitation/project。
引用
@article{arxiv.2104.00878,
title = {Contrastively Learning Visual Attention as Affordance Cues from Demonstrations for Robotic Grasping},
author = {Yantian Zha and Siddhant Bhambri and Lin Guan},
journal= {arXiv preprint arXiv:2104.00878},
year = {2021}
}