视觉-语言 teleimpedance 接口：基于眼动追踪和语音实现物理交互的半自主控制
机器人学
2026-02-17 v1
摘要
本文提出一种视觉-语言 teleimpedance 接口，用于通过操作者的注视和语言交互来控制3D刚度椭球体，以远程机器人实现。通过eye-tracker检测操作者的注视，系统能够理解操作者当前关注场景中哪些内容。结合语言交互，视觉语言模型（VLM）处理此信息，使操作者能够表达其意图或提供纠正。基于这些输入，接口可为不同的物理交互动作生成适当的刚度矩阵。为验证提出的视觉-语言 teleimpedance 接口，我们在包括Force Dimension Sigma.7 haptics 设备的实验 setup 中进行了测试，以控制远程Kuka LBR iiwa机器人臂的运动。操作者的注视通过Tobii Pro Glasses 2追踪，人类语言命令由VLM使用GPT-4o处理。第一个实验探讨了接口的最佳提示配置。第二个和第三个实验在滑动进槽任务中展示了接口的不同功能。
引用
@article{arxiv.2508.20037,
title = {Visio-Verbal Teleimpedance Interface: Enabling Semi-Autonomous Control of Physical Interaction via Eye Tracking and Speech},
author = {Henk H. A. Jekel and Alejandro Díaz Rosales and Luka Peternel},
journal= {arXiv preprint arXiv:2508.20037},
year = {2026}
}