基于因子化图序列编码器的实时操作动作识别

人类操作动作的实时识别对于安全有效的人机交互和协作至关重要。挑战在于开发既轻量级足以实现实时执行又具备泛化能力的模型。虽然一些现有方法可以在实时运行，但在时间可扩展性方面存在困难，即无法有效适应持续操作。为此，我们提出一种新的因子化图序列编码器网络，该网络不仅能实时运行，而且在时间维度上能够有效扩展，归功于其因子化编码器架构。此外，我们引入手部池化操作，这是一种用于更专注地提取图级嵌入的简单池化操作。我们的模型在KIT双手动作 (Bimacs) 数据集和协作动作 (CoAx) 数据集上分别实现了在F1-宏观分数上的14.3%和5.6%的提升。我们进行了大量的消融研究，以验证网络设计选择。最后，我们将我们的模型与在Bimacs数据集上类似的RGB模型进行比较，显示了在以对象为中心的操作数据集方面的局限性。