RoboChop:利用基础模型实现果蔬切割的自主框架
机器人学
2023-07-26 v1
摘要
以开发完全自主的烹饪机器人为目标,构建能够对多种多样物体进行切割的鲁棒系统十分重要。现有方法主要关注切割动作的底层动力学,忽视了实现自主切割系统的一些实际现实挑战。本工作中我们提出一个自主框架,用于将动作基元排序组合,以在杂乱切菜板上切割果蔬。我们提出一种新技术,利用视觉基础模型 SAM 与 YOLO 准确检测、分割并跟踪在一系列切割中视觉发生变化的果蔬,并在一个由完整与切开的果蔬组成的新数据集上微调 YOLO。在我们的实验中,我们证明这一简单流水线能够可靠切割尺寸、外观与质地各异的多种果蔬,满足包括水果类型、切片数量与切片类型在内的多种切割规格。
引用
@article{arxiv.2307.13159,
title = {RoboChop: Autonomous Framework for Fruit and Vegetable Chopping Leveraging Foundational Models},
author = {Atharva Dikshit and Alison Bartsch and Abraham George and Amir Barati Farimani},
journal= {arXiv preprint arXiv:2307.13159},
year = {2023}
}