TransForce: 基于序列图像翻译的视觉触觉传感器可迁移力预测
机器人学
2025-02-27 v2
摘要
基于视觉的触觉传感器(VBTS)可提供高分辨率触觉图像，这对于机器人手内操作至关重要。然而，由于获取配对的触觉图像和力标签的过程成本高昂且耗时，VBTS中的力传感并未得到充分利用。在本研究中，我们引入了一种可迁移的力预测模型TransForce，旨在利用已收集的图像-力配对数据，为不同光照颜色和标记图案下的新传感器进行力预测，同时提高预测力的精度，尤其是在剪切方向。我们的模型有效地实现了触觉图像从源域到目标域的翻译，确保生成的触觉图像反映新传感器的光照颜色和标记图案，同时精确对齐现有传感器中观察到的弹性体变形，这有利于新传感器的力预测。因此，我们采用一个由生成的序列触觉图像和现有力标签训练的循环力预测模型，来估计新传感器更高精度的力，与使用单张图像训练的模型相比，其在轴、轴和轴上的最低平均误差分别为0.69N（满量程的5.8%）、0.70N（5.8%）和1.11N（6.9%）。实验结果还表明，纯标记模态比RGB模态更有助于提高剪切方向力的精度，而RGB模态在法向方向表现出更好的性能。
引用
@article{arxiv.2409.09870,
title = {TransForce: Transferable Force Prediction for Vision-based Tactile Sensors with Sequential Image Translation},
author = {Zhuo Chen and Ni Ou and Xuyang Zhang and Shan Luo},
journal= {arXiv preprint arXiv:2409.09870},
year = {2025}
}
备注
Accepted to ICRA2025