基于 Transformer 编码解码器和图神经网络的 WiFi 人体跌倒与活动识别
计算机视觉与模式识别
2025-04-24 v1
摘要
人体姿态估计和动作识别因其在健康监测、康复和助助技术中的关键作用而受到关注。本研究提出了一种名为 Transformer 编码解码网络（TED Net）的新型架构，用于从 WiFi 信道状态信息（CSI）中估计人体骨架姿态。TED Net 将卷积编码器与基于 Transformer 的注意力机制集成，以捕获 CSI 信号的时空特征。估计得到的骨架姿态作为输入喂入定制的有向图神经网络（DGNN）进行动作识别。我们在两个数据集上对模型进行了验证：一个公开的多模态数据集用于评估一般姿态估计，以及一个新收集的聚焦跌倒场景的数据集，涉及 20 名参与者。实验结果表明，TED Net 在姿态估计方面优于现有方法，DGNN 能就 CSI 基于骨架的动作分类实现可靠的分类性能，性能与基于 RGB 的系统相当。值得注意的是，TED Net 在跌倒和非跌倒情况下的性能都表现稳健。这些发现凸显了基于 CSI 的人体骨架估计在有效动作识别中的潜力，尤其是在老年跌倒检测等家庭环境中。在此类环境中，WiFi 信号往往随手可得，为视觉方法提供的隐私保护替代方案，而后者可能因持续监控摄像头而引发顾虑。
引用
@article{arxiv.2504.16655,
title = {WiFi based Human Fall and Activity Recognition using Transformer based Encoder Decoder and Graph Neural Networks},
author = {Younggeol Cho and Elisa Motta and Olivia Nocentini and Marta Lagomarsino and Andrea Merello and Marco Crepaldi and Arash Ajoudani},
journal= {arXiv preprint arXiv:2504.16655},
year = {2025}
}
备注
8 pages, 4 figures