PIM：面向改进惯性传感器人体动作识别的物理信息多任务预训练框架
计算机视觉与模式识别
2025-03-25 v1 人工智能
摘要
基于深度学习模型的人体动作识别（HAR）依赖大量标记数据，但由于成本、时间与劳动力因素，获取这些数据常常困难。自监督学习（SSL）已成为有效利用无标记数据的方法，通过预热任务（如掩码重构）和基于信号处理的数据增强多任务学习来预训练编码器模型。然而，这些方法常源自计算机视觉领域，忽略了穿戴式传感器数据及其反映现象所遵循的物理机制与约束。本文提出一种基于IMU的物理信息多任务预训练（PIM）框架。PIM根据人类运动的基本物理特性（包括运动速度、运动角度及传感器放置的对称性）生成预热任务。给定传感器信号，我们计算其对应的物理特征，并将其作为SSL的预热任务。使模型能够捕捉人类活动的基本物理特征，这在多传感器系统中尤为重要。在四个HAR基准数据集上的实验评估表明，所提方法在准确率和F1分数方面优于现有SOTA方法，包括数据增强和掩码重构。在仅需每类2至8个标记样本的情况下，宏观F1分数和准确率提升约10%；当训练数据量不变时，提升幅度可达约3%。
引用
@article{arxiv.2503.17978,
title = {PIM: Physics-Informed Multi-task Pre-training for Improving Inertial Sensor-Based Human Activity Recognition},
author = {Dominique Nshimyimana and Vitor Fortes Rey and Sungho Suh and Bo Zhou and Paul Lukowicz},
journal= {arXiv preprint arXiv:2503.17978},
year = {2025}
}