基于时序对齐的小样本视频分类
计算机视觉与模式识别
2019-06-28 v1
摘要
人们对学习一个仅用少量标注样本就能识别新类别的模型越来越感兴趣。本文提出时序对齐模块（TAM），一种新颖的小样本学习框架，能够学习对之前未见过的视频进行分类。以往大多数工作忽略了长期时序排序信息，而我们提出的模型通过时序对齐显式地利用视频数据中的时序排序信息，从而为小样本学习带来了很强的数据效率。具体而言，TAM通过沿其对齐路径对每帧距离取平均，来计算查询视频相对于新类别代理的距离值。我们为TAM引入了连续松弛，使得模型能以端到端的方式学习，直接优化小样本学习目标。我们在两个具有挑战性的真实世界数据集Kinetics和Something-Something-V2上评估了TAM，结果表明，与广泛的竞争性基线相比，我们的模型显著提升了小样本视频分类的性能。
引用
@article{arxiv.1906.11415,
title = {Few-Shot Video Classification via Temporal Alignment},
author = {Kaidi Cao and Jingwei Ji and Zhangjie Cao and Chien-Yi Chang and Juan Carlos Niebles},
journal= {arXiv preprint arXiv:1906.11415},
year = {2019}
}