赋予触觉模拟器真实感与零样本能力
机器人学
2024-01-31 v1
摘要
模拟触觉感知有可能利用机器人系统在操作任务中的学习能力。然而，高分辨率触觉传感器的模拟器现实差距仍然很大。在模拟数据上训练的模型常在零样本推理中失败，并需要用真实数据微调。此外，高分辨率传感器的研究通常集中于平面传感器，而三维圆形传感器对于灵巧操作至关重要。在本文中，我们提出了一种称为 SightGAN 的双向生成对抗网络（GAN）。SightGAN 基于早期的 CycleGAN，同时包含两个部分额外的损失分量，旨在精确重建背景与接触图案，包括微小接触痕迹。所提出的 SightGAN 在差异图像上学习实到模与模到实过程。结果表明其能生成真实感合成图像，同时保持准确的接触定位。生成的图像可用于训练新制造传感器的零样本模型。因此，所得的模到实生成器可构建于触觉模拟器之上以提供真实世界框架。该框架潜在可用于训练例如操作任务的强化学习策略。所提模型在来自真实传感器的测试数据的大量实验中得到验证，并显示出在触觉图像中保持嵌入的力信息。
引用
@article{arxiv.2309.10409,
title = {Augmenting Tactile Simulators with Real-like and Zero-Shot Capabilities},
author = {Osher Azulay and Alon Mizrahi and Nimrod Curtis and Avishai Sintov},
journal= {arXiv preprint arXiv:2309.10409},
year = {2024}
}