物体信息如何改进装配任务中基于骨架的人体动作识别
计算机视觉与模式识别
2023-06-12 v1 机器学习
机器人学
摘要
随着协作机器人(cobots)在工业制造中的使用持续增长,用于高效人机协作的人体动作识别变得愈发重要。该能力对于协作机器人自主行动并辅助装配任务至关重要。近来,基于骨架的方法常被采用,因为它们往往能更好地泛化到不同的人和环境中。然而,仅处理骨架时,关于人与之交互的物体的信息会丢失。因此,我们提出了一种将物体信息整合进基于骨架的动作识别的新方法。我们将物体中心视为额外的骨架关节,从而增强了两种最先进的方法。我们在装配数据集IKEA ASM上的实验表明,当将骨架关节与最先进实例分割模型预测的物体相结合时,我们的方法在很大程度上提升了这些最先进方法的性能。我们的研究阐明了在装配任务中将骨架关节与物体信息结合用于人体动作识别的益处。我们分析了物体检测器对该组合用于动作分类的影响,并讨论了必须考虑的重要因素。
引用
@article{arxiv.2306.05844,
title = {How Object Information Improves Skeleton-based Human Action Recognition in Assembly Tasks},
author = {Dustin Aganian and Mona Köhler and Sebastian Baake and Markus Eisenbach and Horst-Michael Gross},
journal= {arXiv preprint arXiv:2306.05844},
year = {2023}
}
备注
IEEE International Joint Conference on Neural Networks (IJCNN) 2023