基于动作元与运动姿态块字典的复杂动作理解层次化姿态方法

在本文中，我们引入了一种利用身体关节位置进行人类动作识别的全新层次化模型。我们的模型能够对视频中的复杂动作进行分类，并对构成所执行复杂动作的原子动作进行时空标注。即，对于每个原子动作，模型通过估计其起始和结束时间生成时间动作标注，并通过推断执行该动作所涉及的人体部位生成空间标注。我们的模型包含三个关键新颖特性： 能够在无空间监督下进行训练，因为它可以仅从时间动作标注中自动发现活跃的身体部位； 联合学习运动姿态块和动作元的灵活表示，以编码身体部位和原子动作的视觉可变性； 一种丢弃空闲或非信息性身体部位的机制，从而提高其对常见姿态估计误差的鲁棒性。我们使用多个动作识别基准来评估该方法的性能。我们的模型始终优于基线方法和最先进的动作识别方法。