动作识别的二阶时间池化
计算机视觉与模式识别
2018-08-08 v2
摘要
基于视频的动作识别的深度学习模型通常为短片段（由若干帧组成）生成特征；此类片段级特征通过在这些特征上计算统计量被聚合为视频级表示。通常使用零阶（最大）或一阶（平均）统计量。本文中，我们探索使用二阶统计量的益处。具体而言，我们提出一种新颖的端到端可学习的特征聚合方案，称为时间相关池化（temporal correlation pooling），其通过捕捉视频中计算的片段级CNN特征的时间演化之间的相似性，为视频序列生成动作描述符。此类描述符在计算代价低廉的同时，还自然地编码了多个CNN特征的共激活，从而提供比一阶对应方法更丰富的动作表征。我们还通过在将CNN特征嵌入再生核希尔伯特空间后计算相关性，提出了该方案的高阶扩展。我们在基准数据集（如HMDB-51和UCF-101）、细粒度数据集（如MPII Cooking活动和JHMDB）以及近期的Kinetics-600上进行了实验。我们的结果展示了高阶池化方案的优势，当其与手工特征结合（作为标准做法）时实现了最先进的（state-of-the-art）准确率。
引用
@article{arxiv.1704.06925,
title = {Second-order Temporal Pooling for Action Recognition},
author = {Anoop Cherian and Stephen Gould},
journal= {arXiv preprint arXiv:1704.06925},
year = {2018}
}
备注
Accepted in the International Journal of Computer Vision (IJCV)