基于深度视觉感知的实时软体三维本体感知
机器人学
2019-12-09 v3
摘要
由柔性和可变形材料制成的软体在许多机器人应用中很受欢迎，但其本体感知一直是一项长期挑战。换言之，几乎还没有方法利用内部传感器测量和建模软体的高维三维形状。我们提出了一种利用嵌入式摄像头实时测量软体高分辨率三维形状的框架。摄像头捕捉软体内部的视觉图案，卷积神经网络（CNN）生成表示变形状态的潜码，随后可使用另一个神经网络重建身体的三维形状。我们在各种软体上测试了该框架，例如 Baymax 形状的玩具、乳胶气球和一些软体机器人手指，并实现了实时计算（≤2.5ms/帧），以高精度（≤1% 相对误差）和高分辨率进行鲁棒形状估计。我们相信该方法可应用于软体机器人和人机交互中的本体感知形状传感。我们的代码可在 https://ai4ce.github.io/Deep-Soft-Prorioception/ 获取。
引用
@article{arxiv.1904.03820,
title = {Real-time Soft Body 3D Proprioception via Deep Vision-based Sensing},
author = {Ruoyu Wang and Shiheng Wang and Songyu Du and Erdong Xiao and Wenzhen Yuan and Chen Feng},
journal= {arXiv preprint arXiv:1904.03820},
year = {2019}
}
备注
8 pages, 5 figures; submitted to RA-L and ICRA 2020, video is attached at https://www.youtube.com/watch?v=kVirop7rf8o&feature=youtu.be