利用多模态感知实现研发实验室中的机器人插拔任务
机器人学
2023-07-04 v1
摘要
在化学实验室中进行大量实验会产生重复性动作，耗费研究人员时间，自动化这些常规操作极为可取。先前的机器人化学实验已自主执行了大量实验，然而这些流程在从固体或液体添加至最终产物分析的各阶段均依赖自动化机器。在这些系统中，机器人与机器间的每次转移都要求机器人化学家拾取并放置玻璃小瓶，然而目前这使用开环方法执行，要求机器人使用的所有设备处于明确定义的已知位置。我们寻求以在化学实验室环境中促进人机协作的方式开始闭合该小瓶处理流程的回路。为此，机器人必须能够检测其所收集小瓶的有效放置位置，并可靠地将其插入检测到的位置。我们创建了一种单模态视觉方法来估计放置位置以提供基线，随后引入两种额外反馈（力与触觉反馈）方法。我们的视觉方法结合经典计算机视觉方法与 CNN 判别器来检测可能的插入点，随后抓取小瓶并定位于插入点上方，多模态方法利用高效搜索模式引导最终插入运动。通过实验我们表明，基线插入率 48.78% 在加入我们的“力与视觉”多模态反馈方法后提升至 89.55%。
引用
@article{arxiv.2307.00671,
title = {Leveraging Multi-modal Sensing for Robotic Insertion Tasks in R&D Laboratories},
author = {Aaron Butterworth and Gabriella Pizzuto and Leszek Pecyna and Andrew I. Cooper and Shan Luo},
journal= {arXiv preprint arXiv:2307.00671},
year = {2023}
}
备注
8 pages, 5 figures, accepted by CASE2023