面向细粒度动作识别的自适应递归环框架
计算机视觉与模式识别
2021-07-27 v1
摘要
如何对视频中细粒度的时空动态建模一直是动作识别中的难题。它需要对细微且抽象的运动学习具有优越区分性的深层丰富特征。大多数现有方法以纯前馈方式生成某一层的特征，信息从输入到输出单向移动。它们依赖堆叠更多层以获得更强大的特征，带来了额外的不可忽略开销。本文中，我们提出自适应递归环（ARC）框架，一种用于纯前馈层的细粒度修饰器。它继承了原始层的算子与参数，但在这些算子与参数的使用上略有不同。具体而言，该层输入被视为演化状态，其更新与特征生成交替进行。在每步递归中，输入状态由先前生成的特征丰富，而特征生成由新更新的输入状态完成。我们希望ARC框架能以低成本引入深度精炼特征与多尺度感受野，从而促进细粒度动作识别。在多个基准上观察到相对前馈基线显著提升。例如，配备ARC的TSM-ResNet18在Something-Something V1与Diving48上以少48%的FLOPs和52%的模型参数优于TSM-ResNet50。
引用
@article{arxiv.2107.11813,
title = {Adaptive Recursive Circle Framework for Fine-grained Action Recognition},
author = {Hanxi Lin and Xinxiao Wu and Jiebo Luo},
journal= {arXiv preprint arXiv:2107.11813},
year = {2021}
}