Casper: 基于视觉语言模型推断多样化意图的辅助遥操作
机器人学
2025-07-08 v2 人工智能
摘要
辅助遥操作是指人类与机器人共享控制的方式，使其在多样化且非结构化环境中实现高效、直观的人机协作。现有方法要么局限于简单、预定义的场景，要么受限于训练时的任务特定数据分布，限制了其对现实世界帮助的支持。我们引入Casper，一个利用预训练视觉语言模型(VLM)中内嵌的常识知识进行实时意图推断和灵活技能执行的辅助遥操作系统。Casper集成了一个开放世界感知模块，用于对新颖对象和场景进行通用理解，一个VLM驱动的意图推断机制，利用常识推理来解释遥操作用户输入的片段，以及一个技能库，将先前辅助遥操作系统的范围扩展到支持多样化、长期程度的移动操作任务。通过人类研究和系统消融实验的广泛实证评估，表明Casper在提升任务性能、降低人类认知负荷和实现更高用户满意度方面优于直接遥操作和辅助遥操作基线方法。更多信息请访问https://ut-austin-rpl.github.io/casper/。
引用
@article{arxiv.2506.14727,
title = {Casper: Inferring Diverse Intents for Assistive Teleoperation with Vision Language Models},
author = {Huihan Liu and Rutav Shah and Shuijing Liu and Jack Pittenger and Mingyo Seo and Yuchen Cui and Yonatan Bisk and Roberto Martín-Martín and Yuke Zhu},
journal= {arXiv preprint arXiv:2506.14727},
year = {2025}
}