发展路径签名方法及其在基于关键点的视频人体动作识别中的应用

视频中基于关键点的人体动作识别是计算机视觉中一项具有挑战性的任务。一个关键步骤是设计一种通用方法，为空间结构和时间动态生成具有判别性的特征。为此，我们将演化的关键点数据视为高维路径，并应用非线性路径签名技术为序列事件提供具有表现力、鲁棒性、非线性和可解释性的表示。我们不从原始路径提取签名特征，而是提出路径分解和路径变换作为预处理步骤。路径分解将高维路径线性地转化为一组低维路径的集合；其中一些路径位于姿态空间，而另一些定义于多尺度时间间隔集合上。路径变换以标准方式为路径添加额外坐标，使得变换后路径的截断签名能够暴露额外特征。对于空间表示，我们应用签名变换将姿态分解产生的路径向量化；对于时间表示，我们再次应用它来描述这种演化的向量化。最后，所有特征被收集在一起构成用于分类的线性单隐藏层全连接网络的输入向量。在四个数据集上的实验结果表明，所提出的特征集仅配合线性浅层网络和 Dropconnect 即有效，并取得了与先进深度网络相当的 state-of-the-art 结果，同时具备可解释性。