通过阅读用户手册操作家用电器的机器人系统
机器人学
2025-07-24 v2 人工智能
系统与控制
系统与控制
摘要
操作家用电器是每个家庭中最常见的工具之一，这对于辅助家庭机器人是一项关键能力。本文提出了 ApBot，一个通过“阅读”用户手册来操作新型家用电器的机器人系统。ApBot 面临多重挑战：(i) 从用户手册文档中非结构化的文本描述推断目标条件部分策略，(ii) 将策略在物理世界中与电器建立联系，以及 (iii) 尽管存在累积误差，仍能在可能许多步骤上可靠地执行策略。为了应对这些挑战，ApBot 在大型视觉语言模型 (VLM) 的帮助下，从手册中构建了电器的结构化符号模型。它将符号动作在视觉上与控制面板元素建立联系。最后，ApBot 通过基于视觉反馈更新模型来闭环。我们的实验表明，在广泛的模拟和真实世界电器中，与直接用作控制策略的最先进的大型 VLMs 相比，ApBot 在任务成功率上取得了一致的且具有统计显著性的提升。这些结果表明，结构化的内部表示在机器人稳健操作家用电器中发挥着重要作用，尤其是复杂的电器。
引用
@article{arxiv.2505.20424,
title = {Robot Operation of Home Appliances by Reading User Manuals},
author = {Jian Zhang and Hanbo Zhang and Anxing Xiao and David Hsu},
journal= {arXiv preprint arXiv:2505.20424},
year = {2025}
}