SkeFi：无线骨架基础动作识别的跨模态知识迁移
计算机视觉与模式识别
2026-01-21 v1 多媒体
摘要
基于骨架的动作识别利用人体关键点来对人类动作进行分类，显示出优于常规端到端动作识别的更好泛化和互操作性。现有方法使用 RGB 相机标注骨架关键点，但在暗环境下性能下降并引发隐私问题，限制了其在智能家居和医院等场景的应用。本文探索使用非侵入式无线传感器（如 LiDAR 和毫米波）来缓解这些挑战作为可行替代方案。本文解决了两个问题：(1) 无线传感器模态上的数据不足以训练准确的骨架估计模型；(2) 来自无线传感器的骨架关键点比 RGB 图像更嘈杂，给后续动作识别模型带来了很大困难。我们的工作 SkeFi 通过一种新颖的跨模态知识迁移方法克服了这些差距。我们提出了增强型时序相关自适应图卷积（TC-AGC），并引入帧交互式增强来克服缺失或不连续帧造成的噪声。此外，我们的研究强调了通过双时序卷积增强多尺度时序建模的有效性。通过将 TC-AGC 与时序建模结合进行跨模态迁移，我们的框架能够从嘈杂的无线传感器中提取准确的姿态和动作。实验表明，SkeFi 在毫米波和 LiDAR 上的性能均达到最先进水平。代码已公开于 https://github.com/Huang0035/Skefi。
引用
@article{arxiv.2601.12432,
title = {SkeFi: Cross-Modal Knowledge Transfer for Wireless Skeleton-Based Action Recognition},
author = {Shunyu Huang and Yunjiao Zhou and Jianfei Yang},
journal= {arXiv preprint arXiv:2601.12432},
year = {2026}
}
备注
Published in IEEE Internet of Things Journal