SHARDeg：退化场景下骨骼人体动作识别的基准测试
计算机视觉与模式识别
2025-05-28 v2
摘要
用于检测、预测或分类任务的计算机视觉（CV）模型在真实世界中运行的视频数据流往往因部署在实时系统或资源受限硬件上而退化。因此，这些模型需要对退化数据具有鲁棒性，但现有最先进（SoTA）模型往往未充分考虑这些真实世界约束进行充分评估。骨骼人体动作识别（SHAR）在许多 CV 流水线中至关重要，尤其在实时和边缘计算场景中，但此前其对退化数据的鲁棒性仅被浅层且不一致地评估。本文通过在最详细和最大的三维开放数据集 NTU-RGB+D-120 上提供首个数据退化基准测试，解决了 SHAR 的这一问题，并评估了五种主流 SHAR 模型对三种代表真实世界问题的退化形式的鲁棒性。我们通过展示退化形式（此前未被考虑）对模型准确率有显著影响来证明该基准的必要性；在相同有效帧率下，模型准确率因退化类型不同而可变化超过 40%。我们还发现退化 SHAR 数据中帧的时间规律性可能是导致模型性能差异的主要驱动因素，并通过采用基于插值的简单缓解方法将现有模型性能提升超过 40%。最后，我们展示了该基准如何帮助识别出一种重要的抗退化 SHAR 模型——基于粗糙路径理论的 LogSigRNN SHAR 模型在低帧率下六种情况中有五种超越了 SoTA DeGCN 模型，平均准确率高出 6%，尽管在高帧率（30 FPS）无退化数据上落后 SoTA 模型 11-12%。
引用
@article{arxiv.2505.18048,
title = {SHARDeg: A Benchmark for Skeletal Human Action Recognition in Degraded Scenarios},
author = {Simon Malzard and Nitish Mital and Richard Walters and Victoria Nockles and Raghuveer Rao and Celso M. De Melo},
journal= {arXiv preprint arXiv:2505.18048},
year = {2025}
}
备注
19 pages, 2 images, updated acknowledgements versus previous versions to be compliant with funders