学习用于机器人辅助进食的视觉-触觉叉取策略
机器人学
2022-12-01 v2 人工智能
机器学习
摘要
由于食物组中存在的广泛材料特性与视觉外观，用叉子获取食物项对机器人辅助进食系统构成巨大挑战。可变形食物需要与坚硬食物不同的叉取策略，但对盘中若干先前未见过的物品推断此类特性仍非平凡。我们的核心见解是利用与物品交互过程中的视觉与触觉观测，来快速且反应式地规划叉取运动。我们从原始感官输入中学习食物项的通用多模态表示，以告知最优叉取策略。给定此表示，我们提出一种零样本框架，用于感知先前未见物品的视觉-触觉属性并反应式地叉取它，所有均在一次交互内完成。对具有不同视觉与纹理多样性水平食物的真实机器人实验表明，我们的多模态策略优于不利用视觉与触觉线索或不进行反应式规划的基线。在6个含不同食物项的盘中，我们提出的框架在总共69次叉取尝试中取得了71%的成功率。补充材料、数据集、代码与视频可在我们的网站获取：https://sites.google.com/view/hapticvisualnet-corl22/home
引用
@article{arxiv.2211.14648,
title = {Learning Visuo-Haptic Skewering Strategies for Robot-Assisted Feeding},
author = {Priya Sundaresan and Suneel Belkhale and Dorsa Sadigh},
journal= {arXiv preprint arXiv:2211.14648},
year = {2022}
}