TacEx：Isaac Sim 中的 GelSight 触觉仿真——结合软体与视觉触觉仿真器
机器人学
2024-11-08 v1
摘要
在仿真中训练机器人策略正变得越来越流行；然而，一个精确、可靠且易于使用的触觉仿真器仍然缺失，无法满足接触密集型操作任务的需求。为了弥补这一空白，我们开发了 TacEx——一个模块化的触觉仿真框架。我们将最先进的软体接触仿真器 GIPC 以及基于视觉的触觉仿真器 Taxim 和 FOTS 嵌入 Isaac Sim 中，以实现对 GelSight Mini 视觉触觉传感器的稳健且逼真的仿真。我们利用 TacEx 仿真实现了多个 Isaac Lab 强化学习（RL）环境，包括物体推动、举升和杆平衡。我们验证了仿真的稳定性，并证明高维观测数据（如凝胶变形和 GelSight 相机拍摄的 RGB 图像）可用于训练。代码、视频和额外结果将在线发布：https://sites.google.com/view/tacex。
引用
@article{arxiv.2411.04776,
title = {TacEx: GelSight Tactile Simulation in Isaac Sim -- Combining Soft-Body and Visuotactile Simulators},
author = {Duc Huy Nguyen and Tim Schneider and Guillaume Duret and Alap Kshirsagar and Boris Belousov and Jan Peters},
journal= {arXiv preprint arXiv:2411.04776},
year = {2024}
}
备注
11 pages, accepted at "CoRL Workshop on Learning Robot Fine and Dexterous Manipulation: Perception and Control"