基于核线性化的CNN特征高阶池化用于动作识别
计算机视觉与模式识别
2017-01-20 v1
摘要
大多数成功的用于动作识别的深度学习算法将专为基于图像的任务（如目标识别）设计的模型扩展到视频。此类扩展通常在单视频帧或极短片段上训练动作，然后通过在视频序列上滑动窗口的预测在序列级别进行池化以识别动作。通常该池化步骤使用帧级动作预测的一阶统计量。本文中，我们探索使用高阶相关性的优势；具体而言，我们引入高阶核（HOK）描述子，其由序列中所有帧的CNN分类器分数的晚期融合生成。为生成这些描述子，我们使用核线性化的思想。具体地，首先将在时间上捕捉深度分类器分数演化的相似核矩阵线性化为核特征映射。然后由这些特征映射的高阶共现生成HOK描述子，并用作视频级分类器的输入。我们在两个细粒度动作识别数据集上提供实验，表明我们的方案取得了最先进结果。
引用
@article{arxiv.1701.05432,
title = {Higher-order Pooling of CNN Features via Kernel Linearization for Action Recognition},
author = {Anoop Cherian and Piotr Koniusz and Stephen Gould},
journal= {arXiv preprint arXiv:1701.05432},
year = {2017}
}
备注
9 pages