装配中融合手部与身体骨架的人体动作识别

随着协作机器人（cobot）在工业制造中持续普及，高效的人机协作变得至关重要。协作机器人应能够识别人类动作以协助装配任务并自主行动。为此，常采用基于骨架的方法，因其能跨不同人与环境泛化。尽管身体骨架方法广泛用于动作识别，但对于工人的手指和手起重要作用的装配动作，其精度可能不足。为解决此局限，我们提出一种将较粗略的身体骨架与高度精细的手部骨架相结合的方法。我们研究CNN与transformer，后者尤其擅长利用注意力从两类骨架中提取并融合重要信息。本文证明了所提方法在提升装配场景动作识别中的有效性。