MIRAGE：基于VR的多对象遥操作中的多模态意图识别与允许导引
机器人学
2025-09-03 v1 人机交互
摘要
在多对象遥操作任务中，由于虚拟现实（VR）环境中的感知模糊以及单一模态意图识别的局限性，人机交互面临重大挑战。本文提出一种共享控制框架，将虚拟允许（VA）模型与基于多模态-CNN 的人类意图感知网络（MMIPN）相结合，以提升遥操作性能和用户体验。VA 模型采用人工势场引导操作员指向目标对象，通过调整允许力和优化运动轨迹实现引导。MMIPN 处理多模态输入，包括凝视运动、机器人运动和环境上下文，用于估计人类抓取意图，从而克服 VR 中的深度感知挑战。我们的用户研究在两个因素下评估了四个条件，结果显示 MMIPN 在抓取成功率方面显著优于基线方法，而 VA 模型通过缩短路径长度提升了运动效率。凝视数据被确定为最关键的输入模态。这些发现表明，结合多模态线索与隐式引导在基于 VR 的遥操作中具有有效性，为多对象抓取任务提供了稳健的解决方案，未来可支持更自然的跨应用交互。
引用
@article{arxiv.2509.01996,
title = {MIRAGE: Multimodal Intention Recognition and Admittance-Guided Enhancement in VR-based Multi-object Teleoperation},
author = {Chi Sun and Xian Wang and Abhishek Kumar and Chengbin Cui and Lik-Hang Lee},
journal= {arXiv preprint arXiv:2509.01996},
year = {2025}
}
备注
Accepted by ISMAR 2025