FineTec：基于骨架分解和序列完成实现受时序损坏的细粒度动作识别
计算机视觉与模式识别
2026-01-01 v1
摘要
从受时序损坏的骨架序列中识别细粒度动作仍是一个重大挑战，尤其是在现实场景中，线上姿态估计常常产生大量缺失数据。现有方法往往难以准确恢复时序动态和细粒度空间结构，导致丢失区分相似动作的细微运动线索。为此，我们提出FineTec，一个用于时序损坏情况下的细粒度动作识别的统一框架。FineTec首先通过基于上下文的完成和多样化时序遮蔽恢复受损输入的基准骨架序列。接着，骨架基的空间分解模块将骨架划分为五个语义区域，进一步根据运动方差将其分为动态和静态子组，然后通过有针对性的扰动生成两个增强骨架序列。这些序列以及基准序列随后被处理到一个基于物理的估计模块中，后者利用拉格朗日动力学估计关节加速度。最后，融合后的骨架位置序列和融合后的加速度序列共同输入到基于图神经网络(GCN)的动作识别头部进行最终识别。大量实验表明，在包括粗粒度(NTU-60, NTU-120)和细粒度(Gym99, Gym288)在内的多个基准上，FineTec在各种时序损坏程度下均显著优于先前方法。具体而言，在具有挑战性的Gym99-severe和Gym288-severe设置下，FineTec分别实现了89.1%和78.1%的顶级准确率，证明了其鲁棒性和通用性。代码和数据集可在 https://smartdianlab.github.io/projects-FineTec/ 找到。
引用
@article{arxiv.2512.25067,
title = {FineTec: Fine-Grained Action Recognition Under Temporal Corruption via Skeleton Decomposition and Sequence Completion},
author = {Dian Shao and Mingfei Shi and Like Liu},
journal= {arXiv preprint arXiv:2512.25067},
year = {2026}
}
备注
Accepted by AAAI 2026