IKEA-Manual：逐步观察形状组装
计算机视觉与模式识别
2023-02-06 v1 人工智能
摘要
人工设计的视觉手册是形状组装活动中的关键组成部分。它们以方便且物理上可实现的方式，逐步指导我们如何移动和连接不同的部件。尽管构建执行组装任务的智能体方面已有持续努力，但人类设计手册中的信息在很大程度上被忽视了。我们发现，这是由于 1) 缺乏具有配对手册的真实 3D 组装对象，以及 2) 难以从纯图像手册中提取结构化信息。基于这一观察，我们提出了 IKEA-Manual，一个包含 102 个宜家对象及其配对组装手册的数据集。我们在宜家对象和组装手册上提供了细粒度标注，包括分解的组装部件、组装计划、手册分割以及 3D 部件与视觉手册之间的 2D-3D 对应关系。我们展示了该数据集在与形状组装相关的四个任务上的广泛应用：组装计划生成、部件分割、姿态估计和 3D 部件组装。
引用
@article{arxiv.2302.01881,
title = {IKEA-Manual: Seeing Shape Assembly Step by Step},
author = {Ruocheng Wang and Yunzhi Zhang and Jiayuan Mao and Ran Zhang and Chin-Yi Cheng and Jiajun Wu},
journal= {arXiv preprint arXiv:2302.01881},
year = {2023}
}
备注
NeurIPS 2022 Datasets and Benchmarks Track. Project page: https://cs.stanford.edu/~rcwang/projects/ikea_manual