CheckManual：基于手册的家电操控新挑战与基准
计算机视觉与模式识别
2025-06-12 v1 机器人学
摘要
正确使用电器显著提升了人类生活质量。与可通过常识操控的简单工具不同，电器不同部件具有制造商定义的具体功能。如果要让机器人通过微波炉加热面包，我们应该让他们先查阅微波炉手册。从手册中，它可以学习电器组件功能、交互方式和代表性任务步骤。然而，此前与手册相关的工作仅限于问答任务，而现有的操控研究忽略了手册的重要作用且未能理解多页手册。在本文中，我们提出了首个基于手册的家电操控基准 CheckManual。具体而言，我们设计了一个大模型辅助的人工修订数据生成流水线来基于 CAD 家电模型创建手册。利用这些手册，我们建立了新颖的基于手册的操控挑战、指标和模拟器环境以评估模型性能。此外，我们提出了首个基于手册的操控规划模型 ManualPlan，为 CheckManual 基准设置了一组基线。
引用
@article{arxiv.2506.09343,
title = {CheckManual: A New Challenge and Benchmark for Manual-based Appliance Manipulation},
author = {Yuxing Long and Jiyao Zhang and Mingjie Pan and Tianshu Wu and Taewhan Kim and Hao Dong},
journal= {arXiv preprint arXiv:2506.09343},
year = {2025}
}
备注
CVPR 2025 Highlight