基于局部化时频对比表示学习的自监督人类活动识别

本文提出一种利用智能手机加速度计数据进行自监督人类活动识别的方案。我们旨在开发一个从加速度计信号中学习强表示的模型，以执行鲁棒的人类活动分类，同时降低模型对类别标签的依赖。具体而言，我们期望实现跨数据集迁移学习，使在特定数据集上预训练的网路能在其他数据集上（经少量微调后）进行有效活动分类。为解决此问题，我们设计解决方案时力求从加速度计信号中学习尽可能多的信息。为此，我们设计了两条独立流水线：一条在时频域学习数据，另一条仅在时域学习。为应对上述跨数据集迁移学习相关问题，我们使用自监督对比学习训练各流。随后，每条流经微调用于最终分类，最终融合二者给出结果。我们在MotionSense、HAPT与HHAR三个数据集上评估所提方案性能，表明其优于该领域已有工作。我们进一步通过使用MobiAct数据集预训练、其余三个数据集用于下游分类任务来评估该方法学习泛化特征的能力，并显示所提方案在跨数据集迁移学习中优于其他自监督方法。