IndustReal：一种面向类工业环境下第一视角视频中执行错误的工序步骤识别数据集
计算机视觉与模式识别
2023-10-27 v1
摘要
尽管面向程序性任务的动作识别已受到显著关注，但其存在一个根本缺陷，即未提供动作成功与否的度量。这尤其限制了此类系统在工业领域的适用性，因为程序性动作的结果通常远比单纯的执行重要得多。为应对此局限，我们定义了新颖的工序步骤识别（PSR）任务，侧重于识别工序步骤的正确完成与顺序。除新任务外，我们还提出了多模态 IndustReal 数据集。与现有可用数据集不同，IndustReal 包含程序性错误（如遗漏）以及执行错误。其中相当部分的错误仅存在于验证集与测试集中，使 IndustReal 适用于评估算法对新的、未见过错误的鲁棒性。此外，为鼓励可复现性并允许在合成数据上训练可扩展方法，所有部件的 3D 模型均公开可用。我们提供了动作识别、装配状态检测以及新 PSR 任务的标注与基准性能。IndustReal 及代码与模型权重可在 https://github.com/TimSchoonbeek/IndustReal 获取。
引用
@article{arxiv.2310.17323,
title = {IndustReal: A Dataset for Procedure Step Recognition Handling Execution Errors in Egocentric Videos in an Industrial-Like Setting},
author = {Tim J. Schoonbeek and Tim Houben and Hans Onvlee and Peter H. N. de With and Fons van der Sommen},
journal= {arXiv preprint arXiv:2310.17323},
year = {2023}
}
备注
Accepted for WACV 2024. 15 pages, 9 figures, including supplementary materials