UniMTS: 运动时间序列的统一预训练

来自移动和可穿戴设备（如智能手机和智能手表）的运动时间序列提供了关于人类行为模式的重要见解，由于其低功耗、随时可用的特性，在 healthcare、automation、IoT和AR/XR等领域具有广泛应用前景。然而，鉴于安全和隐私 concerns，构建大规模运动时间序列数据集仍然困难，阻碍了面向人类活动分析的预训练模型的开发。通常，现有模型在同一数据集上进行训练和测试，导致在设备位置、设备安装方向和人类活动类型方面的泛化能力差。本文引入UniMTS，首个针对运动时间序列的统一预训练程序，可跨越多样化的设备潜在因素和活动进行泛化。具体而言，我们采用对比学习框架，将运动时间序列与由大型语言模型丰富的文本描述对齐。这有助于模型学习时间序列的语义，以实现跨活动的泛化。鉴于缺乏大规模运动时间序列数据，我们从涵盖所有关节的运动骨架数据中推导出并综合时间序列。用于捕获关节间关系的时空图网络有助于实现不同设备位置的泛化。我们进一步设计了旋转不变性增强，使模型对设备安装方向的变化不敏感。我们的模型在18个运动时间序列分类基准数据集上表现出卓越的泛化能力，在零样本、少样本和全样本设置下的性能分别优于最佳基线高出340%、16.3%和9.2%。