沉浸式人在回路控制：实时 3D 表面网格化与物理仿真
机器人学
2024-12-19 v1
摘要
本文介绍了 TactiMesh 遥操作接口（TTI），这是一种新型预测性视觉与触觉系统，专为使用头戴式显示器（HMD）进行人在回路机器人控制而设计。通过联合使用同步定位与建图（SLAM）和空间雕刻方法（CARV），TTI 利用安装在 Barrett WAM 机械臂上的 RGB 摄像头，对远程环境进行实时 3D 表面网格化。生成的网格被集成到物理仿真器中，该仿真器具有 WAM 机械臂的数字孪生，以创建虚拟环境。在该虚拟环境中，TTI 直接响应操作者的运动提供触觉反馈，消除了触觉从机器人响应延迟的问题。此外，利用来自 SLAM 的关键帧对 3D 网格进行纹理化，使操作者能够独立于机械臂安装的摄像头控制其头戴式显示器（HMD）的视点，从而提供更好的视觉沉浸感并提高操作速度。结合预测性视觉和触觉反馈，在搜救、检查和远程维护等应用中显著改善了遥操作体验。
引用
@article{arxiv.2412.13752,
title = {Immersive Human-in-the-Loop Control: Real-Time 3D Surface Meshing and Physics Simulation},
author = {Sait Akturk and Justin Valentine and Junaid Ahmad and Martin Jagersand},
journal= {arXiv preprint arXiv:2412.13752},
year = {2024}
}
备注
IROS 2024