匹配基于骨架的活动表示与异构信号以实现人体活动识别
计算机视觉与模式识别
2025-03-20 v1 机器学习
摘要
在人体活动识别(HAR)中，活动标签通常采用独热编码格式，最近有转向使用文本表示以提供上下文知识的趋势。在这里，我们主张HAR应锚定于物理运动数据，因为运动构成了活动的基础，并能有效适用于各种感知系统，而文本则具有固有的局限性。我们提出了SKELAR，一个新颖的HAR框架，从骨架数据预训练活动表示，并将其与异构HAR信号进行匹配。我们的方法解决了两个主要挑战：(1)在不依赖上下文特定细节的情况下捕捉核心运动知识。我们通过一个自监督的粗角度重建任务来实现这一点，该任务恢复关节旋转角度，对用户和部署均具有不变性；(2)将表示适配到具有不同模态和关注点的下游任务。为解决这一问题，我们引入了一个自注意力匹配模块，以数据驱动的方式动态优先处理相关身体部位。鉴于现有骨架数据缺乏对应标签，我们建立了MASD，一个新的HAR数据集，包含IMU、WiFi和骨架数据，来自20名受试者执行27项活动。这是第一个在三个模态中具有时间同步数据的广泛适用的HAR数据集。实验表明，SKELAR在全样本和少样本设置下均达到了最先进的性能。我们还展示了SKELAR可以有效利用合成骨架数据将其应用扩展到没有骨架收集的场景中。
引用
@article{arxiv.2503.14547,
title = {Matching Skeleton-based Activity Representations with Heterogeneous Signals for HAR},
author = {Shuheng Li and Jiayun Zhang and Xiaohan Fu and Xiyuan Zhang and Jingbo Shang and Rajesh K. Gupta},
journal= {arXiv preprint arXiv:2503.14547},
year = {2025}
}
备注
This paper is accepted by SenSys 2025