玩转食物：通过交互式探索学习食物项的表征
机器人学
2021-01-08 v1
摘要
机器人食物操作中的一个关键挑战是对多样且可变形的食物项的材料属性进行建模。我们提出使用多模态感知方法来与食物交互和玩耍，从而提升区分不同食物项之间这些属性的能力。首先，我们使用机械臂和一组传感器（通过ROS同步）来收集一个包含21种具有不同切片和属性的独特食物项的多样数据集。随后，我们学习视觉嵌入网络，利用本体感知、音频和视觉数据的组合，通过三元组损失公式对食物项之间的相似性进行编码。我们的评估表明，通过交互学习到的嵌入能够成功提升在广泛材料和形状分类任务中的性能。我们设想这些学习到的嵌入可作为规划和选择更具材料感知能力的机器人食物操作技能最优参数的基础。此外，我们希望通过向研究界共享该食物玩耍数据集，来刺激食物机器人领域的进一步创新。
引用
@article{arxiv.2101.02252,
title = {Playing with Food: Learning Food Item Representations through Interactive Exploration},
author = {Amrita Sawhney and Steven Lee and Kevin Zhang and Manuela Veloso and Oliver Kroemer},
journal= {arXiv preprint arXiv:2101.02252},
year = {2021}
}
备注
12 pages, 8 figures, 2 tables, to be published in Proceedings of International Symposium on Experimental Robotics (ISER) 2020, project website located here: https://sites.google.com/view/playing-with-food/home