面向工业装配的多粒度人类程序动作理解数据集 IMPACT
计算机视觉与模式识别
2026-04-14 v1 人工智能
摘要
我们介绍了 IMPACT，这是一个针对部署导向的工业程序理解的同步五视角 RGB-D 数据集，基于实际装配和拆解一台商业角向磨盘并使用专业级工具构建。据我们了解，IMPACT 是首个同时提供同步 ego-exo RGB-D 捕获、解耦双手注释、合规感知状态跟踪以及在单一真实工业工作流程中显式异常-恢复监督的真实工业装配基准数据集。它包含 112 项来自 13 名参与者的试验，总时长 39.5 小时，采用部分顺序先决关系图控制多路径执行，包含六类异常分类法，以及通过 NASA-TLX 测量操作者认知负荷。注释层次结构将手部特定的原子动作链接到粗糙的程序步骤、组件装配状态和每手的合规相位，并在各视角中同步的空白跨度以解耦感知局限性与算法故障。系统基线揭示了在单任务基准中难以察觉的基本局限性，尤其是在涉及不完整观察、灵活执行路径和纠正行为的现实部署条件下。完整的数据集、注释和评估代码均可在 https://github.com/Kratos-Wen/IMPACT 提供。
引用
@article{arxiv.2604.10409,
title = {IMPACT: A Dataset for Multi-Granularity Human Procedural Action Understanding in Industrial Assembly},
author = {Di Wen and Zeyun Zhong and David Schneider and Manuel Zaremski and Linus Kunzmann and Yitian Shi and Ruiping Liu and Yufan Chen and Junwei Zheng and Jiahang Li and Jonas Hemmerich and Qiyi Tong and Patric Grauberger and Arash Ajoudani and Danda Pani Paudel and Sven Matthiesen and Barbara Deml and Jürgen Beyerer and Luc Van Gool and Rainer Stiefelhagen and Kunyu Peng},
journal= {arXiv preprint arXiv:2604.10409},
year = {2026}
}
备注
9 pages, 2 figures, benchmark and dataset are available at https://github.com/Kratos-Wen/IMPACT