PourIt!：基于单图像弱监督液体感知的视觉闭环机器人倒水
机器人学
2023-07-24 v1
摘要
液体感知对机器人倒水任务至关重要。它通常要求对流动液体进行鲁棒视觉检测。然而，尽管近期工作在液体感知上展现出前景，它们通常需要标注数据用于模型训练，这一过程耗时且依赖人力。为此，本文提出一个简单而有效的框架PourIt!，作为机器人倒水任务的工具。我们设计了一个仅需图像级标签的简单数据收集流程，以减少对繁琐像素级标注的依赖。随后，训练一个二分类模型生成类激活图(CAM)，聚焦于两类收集数据之间的视觉差异，即是否存在液滴。我们还设计了一种特征对比策略以提升CAM质量，从而完整且紧密地覆盖实际液体区域。进而，利用容器位姿辅助恢复被检测液体区域的3D点云。最后，计算液体到容器距离用于物理机器人的视觉闭环控制。为验证所提方法的有效性，我们贡献了一个新颖数据集并命名为PourIt!数据集。在该数据集与物理Franka机器人上的大量结果表明了我们的方法在机器人倒水任务中的实用性与有效性。我们的数据集、代码与预训练模型将在项目页面提供。
引用
@article{arxiv.2307.11299,
title = {PourIt!: Weakly-supervised Liquid Perception from a Single Image for Visual Closed-Loop Robotic Pouring},
author = {Haitao Lin and Yanwei Fu and Xiangyang Xue},
journal= {arXiv preprint arXiv:2307.11299},
year = {2023}
}
备注
ICCV2023