基于隐式时间对齐与成对相似度优化的小样本动作识别
计算机视觉与模式识别
2020-10-14 v1
摘要
小样本学习旨在利用少量标注样本识别新类别的实例，在研究与应用中具有重要价值。尽管近期该领域已有大量工作，现有研究大多基于图像分类任务。基于视频的小样本动作识别尚未得到充分探索，且仍具挑战性：1）不同论文实现细节的差异使得公平比较困难；2）时间序列的广泛变化与未对齐使得视频级相似度比较困难；3）标注数据的稀缺使得优化困难。为解决这些问题，本文提出：1）一种用于评估小样本动作识别算法性能的专用设定；2）一种用于更好进行视频级相似度比较的隐式序列对齐算法；3）一种用于小样本学习的改进损失，以在有限数据下优化成对相似度。具体而言，我们提出一种新颖的小样本动作识别框架，其在3D卷积层之后使用长短期记忆（LSTM）进行序列建模与对齐。引入Circle loss以灵活最大化类内相似度并最小化类间相似度，从而朝向更明确的收敛目标。我们未采用随机或模糊的实验设定，而是设定了类似于标准基于图像的小样本学习设定的具体准则，用于小样本动作识别评估。在两个数据集上的大量实验证明了我们所提方法的有效性。
引用
@article{arxiv.2010.06215,
title = {Few-shot Action Recognition with Implicit Temporal Alignment and Pair Similarity Optimization},
author = {Congqi Cao and Yajuan Li and Qinyi Lv and Peng Wang and Yanning Zhang},
journal= {arXiv preprint arXiv:2010.06215},
year = {2020}
}