TA2N：用于少样本动作识别的两阶段动作对齐网络
计算机视觉与模式识别
2022-12-23 v4
摘要
少样本动作识别旨在仅使用少量样本（支持集）来识别新颖动作类别（查询集）。当前大多数方法遵循度量学习范式，即学习比较视频之间的相似度。最近观察到，直接度量该相似度并不理想，因为不同的动作实例可能表现出不同的时间分布，导致查询与支持视频之间出现严重的错位问题。在本文中，我们从两个不同方面解决该问题——动作时长错位与动作演化错位。我们通过两阶段动作对齐网络（TA2N）依次处理它们。第一阶段通过学习时间仿射变换来定位动作，该变换将每个视频特征扭曲至其动作时长，同时剔除与动作无关的特征（例如背景）。接下来，第二阶段通过执行时间重排与空间偏移预测，协调查询特征以匹配支持集的时空动作演化。在基准数据集上的大量实验表明，所提方法在少样本动作识别中达到最先进（SOTA）性能潜力。本项目的代码可在 https://github.com/R00Kie-Liu/TA2N 找到。
引用
@article{arxiv.2107.04782,
title = {TA2N: Two-Stage Action Alignment Network for Few-shot Action Recognition},
author = {Shuyuan Li and Huabin Liu and Rui Qian and Yuxi Li and John See and Mengjuan Fei and Xiaoyuan Yu and Weiyao Lin},
journal= {arXiv preprint arXiv:2107.04782},
year = {2022}
}
备注
Published in AAAI 2022