给我倒杯饮料：面向透明容器的机器人碳酸饮料精确倾倒

随着对服务机器人在家庭环境中开发与集成的日益重视，我们需要赋予机器人可靠倾倒各类液体的能力。然而，由于不同液体复杂的动力学与多变属性、防止溢出和确保精确倾倒所需的严苛精度，以及机器人须无缝适配真实场景中多种容器的必要性，液体处理与倾倒是一项具挑战性的任务。为应对这些挑战，我们提出一种新颖的自主机器人流水线，使机器人能够执行精确倾倒任务，涵盖碳酸与非碳酸液体，以及不透明与透明液体，倒入多种透明容器。我们提出的方法最大化仅用 RGB 输入的潜力，通过利用已有的预训练视觉分割模型实现零样本能力。这消除了额外数据采集、人工图像标注或大量训练的需求。此外，我们的工作集成了 ChatGPT，促进无机器人先验知识的个人与我们的倾倒流水线之间的无缝交互，该集成使用户能轻松请求并执行倾倒动作。我们的实验证明了该流水线仅依赖视觉输入即可成功将多种碳酸与非碳酸饮料倒入不同尺寸容器的能力。