ViTacGen：基于视觉到触觉生成的机器人推力控制
机器人学
2025-10-24 v2
摘要
机器人推力控制是一种基础的操作任务，需通过触觉反馈捕捉端器与物体之间的细微接触力与动力学。然而，真实触觉传感器常面临高成本、脆弱以及校准和传感器间差异等部署挑战，而仅用视觉的策略在实际表现上往往不足。灵感来源于人类从视觉推断触觉状态的能力，我们提出 ViTacGen，一种 novel robot manipulation 框架，旨在实现视觉驱动的推力控制中视觉到触觉生成，以消除对高分辨率真实触觉传感器的依赖，使其能在视觉-only 机器人系统上实现有效的零样本部署。具体而言，ViTacGen 包含一个编码器-解码器视觉到触觉生成网络，从视觉图像序列生成接触深度图像，随后是一个基于对比学习的强化学习策略，融合视觉-触觉数据，利用视觉与生成触觉观测进行学习。我们在仿真和真实世界实验中验证了方法的有效性，展示了其优越性能，成功率可达 86%。
引用
@article{arxiv.2510.14117,
title = {ViTacGen: Robotic Pushing with Vision-to-Touch Generation},
author = {Zhiyuan Wu and Yijiong Lin and Yongqiang Zhao and Xuyang Zhang and Zhuo Chen and Nathan Lepora and Shan Luo},
journal= {arXiv preprint arXiv:2510.14117},
year = {2025}
}