抓取中基于视觉-触觉感知的实时液体体积估计
机器人学
2022-08-17 v2 计算机视觉与模式识别
摘要
我们提出了一种深度视觉-触觉模型,以本体感知方式实时估计可变形容器内液体体积。我们融合了两种感知模态,即来自RGB相机的原始视觉输入与来自我们特定触觉传感器的触觉信号,无需任何额外的传感器标定。机器人系统基于该估计模型进行实时控制与调整。我们工作的主要贡献与新意如下:1) 通过构建具有多模态卷积网络的端到端预测模型,探索了一种用于液体体积估计的本体感知方式,在实验验证中达到了约2 ml误差的高精度。2) 提出了一种多任务学习架构,综合考量分类与回归任务的损失,并在所采集数据与真实机器人平台上对各变体性能进行了对比评估。3) 利用该本体感知机器人系统精确伺服并控制所请求体积的液体,该液体正实时连续流入可变形容器。4) 根据实时液体体积预测自适应调整抓取规划,以实现更稳定的抓取与操控。
引用
@article{arxiv.2202.11503,
title = {Visual-Tactile Sensing for Real-time Liquid Volume Estimation in Grasping},
author = {Fan Zhu and Ruixing Jia and Lei Yang and Youcan Yan and Zheng Wang and Jia Pan and Wenping Wang},
journal= {arXiv preprint arXiv:2202.11503},
year = {2022}
}