低保真视觉-触觉预训练提高视觉唯一操控性能
机器人学
2025-03-14 v4
摘要
触觉感知对于现实世界的操控任务至为重要，但触觉传感器的高成本和脆弱性可能限制其实际应用。在本研究中，我们探讨了 BeadSight（一种低成本、开源触觉传感器）以及触觉预训练方法，这是一种替代精确、预校准传感器的方法。通过在下游任务中禁用触觉传感器进行预训练，以提升操控系统的鲁棒性并降低成本。我们检验了即使使用如 BeadSight 这样的低保真传感器，触觉预训练是否可以提高基于模仿学习的智能体在复杂操控任务上的性能。通过在相似和不相似的任务上进行视觉-触觉预训练，我们分析了其对更长时序下游任务的影响。我们的实验表明，视觉-触觉预训练在视觉唯一推断的情况下，可使 USB 线缆插拔任务的性能提升最高可达 65%。此外，在更长时序的抽屉选取与放置任务中，无论是相似、不相似还是相同任务的预训练，都一致地提高了性能，凸显了大规模视觉-触觉预训练编码器的潜力。
引用
@article{arxiv.2406.15639,
title = {Low Fidelity Visuo-Tactile Pretraining Improves Vision-Only Manipulation Performance},
author = {Selam Gano and Abraham George and Amir Barati Farimani},
journal= {arXiv preprint arXiv:2406.15639},
year = {2025}
}