GelSight Baby Fin Ray 上的目标识别与力量估计
机器人学
2025-09-19 v1
摘要
近期软体机器人手和触觉传感的进展，使其能够借助机器学习完成越来越多的复杂任务。特别是，我们前作展示了 GelSight Baby Fin Ray，该结构将摄像头与柔软顺从的 Fin Ray 结构相集成。基于摄像机的触觉感知赋予了 GelSight Baby Fin Ray 捕捉丰富接触信息的能力，包括力量、物体几何形状和纹理。此外，我们的前作还表明 GelSight Baby Fin Ray 可以穿透杂乱物体，识别带壳坚果。为进一步考察 GelSight Baby Fin Ray 的潜力，我们利用学习技术来区分坚果外壳纹理并执行力量和位置估计。我们实现了包括 ResNet50、GoogLeNet 和 3- 及 5 层卷积神经网络（CNN）结构在内的多种主流神经网络结构的消失实验。我们得出结论，机器学习是从高分辨率触觉图像中提取有用信息的有前景的技术，能够使软体机器人更好地理解和与环境交互。
引用
@article{arxiv.2509.14510,
title = {Object Recognition and Force Estimation with the GelSight Baby Fin Ray},
author = {Sandra Q. Liu and Yuxiang Ma and Edward H. Adelson},
journal= {arXiv preprint arXiv:2509.14510},
year = {2025}
}
备注
Presented at CoRL 2023 as part of the workshop, "Learning for Soft Robots: Hard Challenges for Soft Systems" (website: https://sites.google.com/view/corl-2023-soft-robots-ws)