基于层次表示的细粒度人体动作识别联合学习
计算机视觉与模式识别
2021-10-13 v1
摘要
细粒度人体动作识别是计算机视觉中的核心研究课题。受 FineGym 中近期提出的细粒度动作层次表示以及用于动作识别的 SlowFast 网络启发，我们提出了一种新颖的多任务网络，其利用 FineGym 层次表示来实现细粒度人体动作识别的有效联合学习与预测。该多任务网络由三条 SlowOnly 网络通路组成，其帧率针对细粒度动作的事件、集合和元素逐级提升，随后接我们提出的用于联合学习与预测的整合层。这是一种两阶段方法，首先在各层次级别学习深度特征表示，随后进行特征编码与融合以实现多任务学习。我们在 FineGym 数据集上的实证结果取得了新的最优性能，元素动作的 Top-1 准确率为 91.80%、平均准确率为 88.46%，分别比先前最佳结果高出 3.40% 和 7.26%。
引用
@article{arxiv.2110.05853,
title = {Joint Learning On The Hierarchy Representation for Fine-Grained Human Action Recognition},
author = {Mei Chee Leong and Hui Li Tan and Haosong Zhang and Liyuan Li and Feng Lin and Joo Hwee Lim},
journal= {arXiv preprint arXiv:2110.05853},
year = {2021}
}
备注
Camera ready for IEEE ICIP 2021