AdaSGN：自适应关节数量与模型规模以实现高效基于骨架的动作识别
计算机视觉与模式识别
2021-03-23 v1
摘要
现有的基于骨架的动作识别方法主要关注提高识别准确率，而很少考虑模型的效率。近来有一些工作试图通过设计轻量级模块来加速骨架建模。然而，除了模型大小之外，参与计算的数据量也是运行速度的一个重要因素，特别是对于骨架数据，其中大多数关节对于识别特定骨架是冗余或无信息的。此外，以往的工作通常对所有样本采用一个固定大小的模型而不管识别的难度，这浪费了简单样本上的计算量。为了解决这些局限，本文提出了一种称为 AdaSGN 的新方法，它可以通过在推理过程中自适应地实时控制骨架输入关节的数量来降低计算成本。此外，它还可以为每个样本自适应地选择最优的模型规模，以在准确率和效率之间实现更好的权衡。我们在三个具有挑战性的数据集（即 NTU-60、NTU-120 和 SHREC）上进行了大量实验来验证所提方法的优越性，其中 AdaSGN 以比基线方法低得多的 GFLOPs 实现了相当甚至更高的性能。
引用
@article{arxiv.2103.11770,
title = {AdaSGN: Adapting Joint Number and Model Size for Efficient Skeleton-Based Action Recognition},
author = {Lei Shi and Yifan Zhang and Jian Cheng and Hanqing Lu},
journal= {arXiv preprint arXiv:2103.11770},
year = {2021}
}