基于视觉-触觉学习的视觉-触觉 peg-in-hole 装配：从 peg-out-of-hole 拆卸任务出发
机器人学
2026-04-23 v1
摘要
Peg-in-hole (PiH) 装配是机器人操作的一个基础且具有挑战性的任务。尽管强化学习 (RL) 在解决此类任务方面显示出前景，但其需要大量的探索。在本文中，我们提出了一种用于 PiH 任务的新型视觉-触觉技能学习框架，该框架利用其逆任务，即 peg-out-of-hole (PooH) 拆卸，以促进 PiH 学习。与 PiH 相比，PooH 具有内在优势，因其仅需克服现有的摩擦力，而无需精确对齐，从而使数据收集更为高效。为此，我们将 PooH 和 PiH 均形式化为统一环境中、具有共享视觉-触觉观测空间的部分可观测马尔可夫决策过程 (POMDP)。首先训练视觉-触觉 PooH 策略，其轨迹包含运动学、视觉和触觉信息，随后对其进行时间反转和动作随机化，以提供用于 PiH 的专家数据。在策略学习中，视觉感知促进 peg-hole 接近，而触觉测量补偿 peg-hole 的错位。跨多样化 peg-hole 几何形状的实验表明，视觉-触觉策略比其单一模态对手方法在接触力上低 6.4%，且本框架在见对象上的平均成功率为 87.5%，在未见对象上的成功率为 77.1%，显著优于从头训练 PiH 策略的直接 RL 方法，在成功率上提升了 18.1%。演示、代码和数据集均可在 https://sites.google.com/view/pooh2pih 查阅。
引用
@article{arxiv.2604.20712,
title = {Visual-Tactile Peg-in-Hole Assembly Learning from Peg-out-of-Hole Disassembly},
author = {Yongqiang Zhao and Xuyang Zhang and Zhuo Chen and Matteo Leonetti and Emmanouil Spyrakos-Papastavridis and Shan Luo},
journal= {arXiv preprint arXiv:2604.20712},
year = {2026}
}