SWITCH：基准化长期具身情景中的可触接口建模与处理
计算机视觉与模式识别
2026-03-03 v3 人工智能
机器人学
摘要
在真实世界中运行的自主智能体必须持续与现有物理和语义基础设施交互，跟踪延迟性后果并在时间上验证结果。日常环境中充满可触控制接口（TCI）——如灯开关、电器面板和嵌入式 GUI——这些构成持久具身智能体的核心挑战，包括部分可见性、跨时间的因果推理以及在真实约束下的数据驱动验证。然而，当前基准测试很少考虑此类长期互动和因果要求。我们引入 SWITCH（Semantic World Interface Tasks for Control & Handling），通过迭代发布构建的具身、任务导向基准，旨�探测这些差距。其首个版本 SWITCH-Basic 在 ego-centric RGB 视频输入和设备多样性下评估五种互补能力——任务感知 VQA、语义 UI 锚定、动作生成、状态转移预测和结果验证——覆盖 351 项任务，涉及 98 个真实设备/电器。商业和开放 LMM 的结果揭示系统性失效，凸显持久智能体部署的关键缺口。SWITCH 提供数据、代码和保留分割，实现可复现无污染评估，促进社区贡献以构建更具挑战性的后续基准版本及相关训练数据。基准资源已公开：https://github.com/BAAI-Agents/SWITCH。
引用
@article{arxiv.2511.17649,
title = {SWITCH: Benchmarking Modeling and Handling of Tangible Interfaces in Long-horizon Embodied Scenarios},
author = {Jieru Lin and Zhiwei Yu and Börje F. Karlsson},
journal= {arXiv preprint arXiv:2511.17649},
year = {2026}
}