ATTACH数据集：用于人类动作理解的双手装配动作标注数据集
机器人学
2023-04-18 v1 计算机视觉与模式识别
机器学习
摘要
随着协作机器人（cobot）的出现，工业制造中的人机协作正成为关注焦点。为使cobot自主行动并充当助手，它必须理解装配过程中的人类动作。为有效训练该任务的模型，一个包含真实场景下合适装配动作的数据集至关重要。为此，我们提出ATTACH数据集，其包含51.6小时装配过程、95.2k个由三台摄像机监控的细粒度标注动作，这些摄像机代表cobot的潜在视角。由于在装配情境中工人倾向于用双手同时执行不同动作，我们分别对每只手执行的动作进行了标注。因此，在ATTACH数据集中，超过68%的标注与其他标注重叠，这比相关数据集（通常呈现更简化的装配任务）多出数倍。为更好地针对工作区域背景进行泛化，我们不仅记录了彩色与深度图像，还使用了Azure Kinect身体追踪SDK来估计工人的3D骨架。为建立首个基线，我们报告了在视频与骨架序列输入上最先进动作识别及动作检测方法的性能。该数据集可在 https://www.tu-ilmenau.de/neurob/data-sets-code/attach-dataset 获取。
引用
@article{arxiv.2304.08210,
title = {ATTACH Dataset: Annotated Two-Handed Assembly Actions for Human Action Understanding},
author = {Dustin Aganian and Benedict Stephan and Markus Eisenbach and Corinna Stretz and Horst-Michael Gross},
journal= {arXiv preprint arXiv:2304.08210},
year = {2023}
}
备注
IEEE International Conference on Robotics and Automation (ICRA) 2023