用于定位与跟随衣物特征的自监督视觉-触觉预训练
机器人学
2023-08-01 v2
摘要
人类广泛将视觉与触觉作为互补感官，视觉提供场景的全局信息，而触觉在操作中测量局部信息且不受遮挡影响。尽管已有工作证明了触觉感知对可变形体精确操控的有效性，但它们通常依赖有监督的、人工标注的数据集。我们提出自监督视觉-触觉预训练（SSVTP），一种通过跨模态监督以自监督方式学习多任务视觉-触觉表示的框架。我们设计了一种机制，使机器人能自主收集精确空间对齐的视觉与触觉图像对，随后训练视觉与触觉编码器，利用跨模态对比损失将这些图像对嵌入共享潜空间。我们将此潜空间应用于平面可变形衣物的下游感知与控制，并在无微调情况下评估所学表示在 5 项任务上的灵活性：特征分类、接触定位、异常检测、基于视觉查询的特征搜索（如遮挡下衣物特征定位）以及沿布边的边缘跟随。预训练表示在这 5 项任务上取得了 73–100% 的成功率。
引用
@article{arxiv.2209.13042,
title = {Self-Supervised Visuo-Tactile Pretraining to Locate and Follow Garment Features},
author = {Justin Kerr and Huang Huang and Albert Wilcox and Ryan Hoque and Jeffrey Ichnowski and Roberto Calandra and Ken Goldberg},
journal= {arXiv preprint arXiv:2209.13042},
year = {2023}
}
备注
RSS 2023, site: https://sites.google.com/berkeley.edu/ssvtp