FreqMixFormerV2：面向人体骨架动作识别的轻量级频率感知混合 Transformer
计算机视觉与模式识别
2024-12-31 v1
摘要
基于 Transformer 的人体骨架动作识别技术已经发展多年。然而，这些模型的复杂度和参数数量高，限制了其在资源受限环境中的实际应用。本文提出 FreqMixForemrV2，基于频率感知混合 Transformer (FreqMixFormer) 构建，利用先进的频域分析识别细微且具辨识度的动作。我们设计了轻量级架构，在保持稳健性能的同时显著降低模型复杂度。这是通过重新设计的频率算子优化高频和低频参数调整，以及简化的频率感知注意力模块实现的。这些改进显著减少模型参数，仅以最小的精度牺牲实现高效部署。对标准数据集（NTU RGB+D、NTU RGB+D 120 和 NW-UCLA 数据集）的全面评估表明，所提模型在效率与精度之间实现了卓越的平衡，超越状态最佳方法，仅使用 60% 的参数即可实现。
引用
@article{arxiv.2412.20621,
title = {FreqMixFormerV2: Lightweight Frequency-aware Mixed Transformer for Human Skeleton Action Recognition},
author = {Wenhan Wu and Pengfei Wang and Chen Chen and Aidong Lu},
journal= {arXiv preprint arXiv:2412.20621},
year = {2024}
}
备注
IEEE FG2025