GestOS：基于大型语言模型的高级手势解释系统，用于控制任意类型的机器人
机器人学
2025-09-19 v1
摘要
我们提出了 GestOS，这是一个面向异构机器人团队的手势操作系统。不同于以前依赖手势映射固定命令或单智能体动作的系统，GestOS 对手势进行语义解释，并根据机器人的能力、当前状态和支持的指令集动态分配任务。该系统将轻量级视觉感知与大型语言模型（LLM）推理相结合：将手势姿态转换为结构化文本描述，供 LLM 推断意图并生成针对特定机器人的命令。机器人选择模块确保每个手势触发的任务被匹配到实时的合适代理。这种架构实现了情境感知、自适应的控制，无需用户显式指定目标或命令。通过将手势交互从识别过程智能化调度，GestOS 支持在动态环境中与机器人系统进行可扩展、灵活且用户友好的协作。
引用
@article{arxiv.2509.14412,
title = {GestOS: Advanced Hand Gesture Interpretation via Large Language Models to control Any Type of Robot},
author = {Artem Lykov and Oleg Kobzarev and Dzmitry Tsetserukou},
journal= {arXiv preprint arXiv:2509.14412},
year = {2025}
}