Vis2Hap：基于跨模态生成的视觉触觉渲染
机器人学
2023-01-18 v1
摘要
为了辅助机器人遥操作任务，近年来开发了允许人类操作者获取虚拟触觉感受的触觉渲染技术。以往的大多数触觉渲染方法严重依赖触觉传感器收集的数据。然而，由于机器人可达空间有限以及触觉传感器的限制，触觉数据在机器人中并不广泛可用。为了消除对触觉数据的需求，本文提出了一种名为 Vis2Hap 的新方法，从可在远距离获取且无需物理交互的视觉输入生成触觉渲染。我们将物体的表面纹理作为传达给人类操作者的关键线索。为此，设计了一个生成模型来模拟物体表面的粗糙度和滑度。为了在 Vis2Hap 中嵌入触觉线索，我们使用来自触觉传感器的高度图和来自摩擦系数的频谱图作为生成模型的中间输出。Vis2Hap 训练完成后，可用于生成新表面纹理的高度图和频谱图，由此获得摩擦图像并显示在触觉显示器上。用户研究表明，我们提出的 Vis2Hap 方法使用户能够获得类似于真实物体的逼真触觉感受。所提出的基于视觉的触觉渲染有望增强人类操作者对远程环境的感知，并促进机器人操作。
引用
@article{arxiv.2301.06826,
title = {Vis2Hap: Vision-based Haptic Rendering by Cross-modal Generation},
author = {Guanqun Cao and Jiaqi Jiang and Ningtao Mao and Danushka Bollegala and Min Li and Shan Luo},
journal= {arXiv preprint arXiv:2301.06826},
year = {2023}
}
备注
This paper is accepted at ICRA 2023