Ske2Grid：面向动作识别的骨架到网格表征学习
计算机视觉与模式识别
2023-08-16 v1 机器学习
摘要
本文提出 Ske2Grid，一种用于改进基于骨架的动作识别的新表征学习框架。在 Ske2Grid 中，我们针对一种新的人体骨架网格表征定义了常规卷积操作，该表征是通过三种新设计构建并学习得到的紧凑类图像网格块。具体而言，我们提出图节点索引变换（GIT），通过将骨架图中的节点逐一分配到所需网格单元来构建规则网格块。为确保 GIT 为双射并增强网格表征的表达能力，学习了一种上采样变换（UPT）以对骨架图节点进行插值，从而将网格块填满。为解决一步 UPT 过于激进的问题，并进一步利用随空间尺寸增大的网格表征能力，提出渐进学习策略（PLS），该策略将 UPT 解耦为多步，并通过渐进学习的紧凑级联设计将其与多个配对 GIT 对齐。我们在主流图卷积网络之上构建网络，并在六个主流基于骨架的动作识别数据集上进行实验。实验表明，我们的 Ske2Grid 在不同基准设置下显著优于现有基于 GCN 的方法，且无任何花哨技巧。代码与模型见 https://github.com/OSVAI/Ske2Grid
引用
@article{arxiv.2308.07571,
title = {Ske2Grid: Skeleton-to-Grid Representation Learning for Action Recognition},
author = {Dongqi Cai and Yangyuxuan Kang and Anbang Yao and Yurong Chen},
journal= {arXiv preprint arXiv:2308.07571},
year = {2023}
}
备注
The paper of Ske2Grid is published at ICML 2023. Code and models are available at https://github.com/OSVAI/Ske2Grid