基于骨架的动作识别 via 自适应跨形式学习
计算机视觉与模式识别
2022-07-01 v1 多媒体
摘要
基于骨架的动作识别旨在将骨架序列投影到动作类别，其中骨架序列源自多种预检测点的形式。相较于早期专注于通过图卷积网络(GCNs)探索单形式骨架的方法，现有方法倾向于利用多形式骨架来改进GCNs，因其具有互补线索。然而，这些方法（无论是调整GCN结构还是模型集成）在训练与推理阶段均要求所有形式骨架共存，而现实生活中的典型情形是推理时仅存在部分形式。为解决此问题，我们提出自适应跨形式学习(ACFL)，其使精心设计的GCN能从单形式骨架生成互补表征而不改变模型容量。具体而言，ACFL中每个GCN模型不仅从单形式骨架学习动作表征，还自适应地模仿源自其他形式骨架的有用表征。以此方式，每个GCN可学习如何强化已学内容，从而挖掘模型潜力并促进动作识别。在三个具挑战性基准（即NTU-RGB+D 120、NTU-RGB+D 60与UAV-Human）上的大量实验证明了所提方法的有效性与泛化性。具体地，ACFL显著改进了多种GCN模型（即CTR-GCN、MS-G3D与Shift-GCN），创下基于骨架的动作识别的新纪录。
引用
@article{arxiv.2206.15085,
title = {Skeleton-based Action Recognition via Adaptive Cross-Form Learning},
author = {Xuanhan Wang and Yan Dai and Lianli Gao and Jingkuan Song},
journal= {arXiv preprint arXiv:2206.15085},
year = {2022}
}