面向零样本动作识别的轨迹对齐时空记忆

我们提出了一种简单且有效的方法，用于 few-shot action recognition，强调分离运动和外观表征。通过利用最近在跟踪方面的进展，特别是点轨迹和自监督表征学习，我们构建了捕获运动和外观信息的轨迹对齐记忆 (TATs)。该方法显著减少了数据要求，同时保留必需信息。为处理这些表征，我们使用掩码时空变换器，有效学习聚合信息以促进 few-shot action recognition。我们在多个数据集上演示了该方法实现 state-of-the-art 的结果。我们的项目页面地址为 https://www.cs.umd.edu/~pulkit/tats。