EgoSpot：基于自我中心多模态控制的免手持移动操作
机器人学
2026-03-23 v2 计算机视觉与模式识别
摘要
我们提出了一种利用 Microsoft HoloLens 2 混合现实头显对 Boston Dynamics Spot 机器人进行免手持控制的新框架。实现可及的机器人控制对于让身体残障人士在日常活动、遥操作与远程交互任务中受益于机器人辅助至关重要。然而，大多数现有机器人控制接口依赖操纵杆或手持控制器等手动输入设备，这对于运动能力受限的用户而言可能困难甚至无法使用。为应对这一局限，我们开发了一种直观的多模态控制系统，利用来自可穿戴设备的自我中心感知。我们的系统融合了眼动注视、头部手势与语音命令等多种控制信号，以实现免手持交互。这些信号被融合用于支持机器人移动与机械臂操作的实时控制。实验结果表明，我们的方法在任务完成时间与用户体验方面达到了与传统基于操纵杆的控制相当的性能，同时显著提升了交互的可及性与自然性。我们的结果凸显了自我中心多模态接口使移动操作机器人对更广泛人群更具包容性与可用性的潜力。系统演示可在我们的项目网页上查看。
引用
@article{arxiv.2306.02393,
title = {EgoSpot:Egocentric Multimodal Control for Hands-Free Mobile Manipulation},
author = {Ganlin Zhang and Deheng Zhang and Longteng Duan and Guo Han and Yuqian Fu and Danda Pani Paudel and Luc Van Gool and Eric Vollenweider},
journal= {arXiv preprint arXiv:2306.02393},
year = {2026}
}