PRIMUS：利用多模态自监督预训练IMU编码器
机器学习
2025-11-19 v3
摘要
通过个人设备中嵌入的惯性测量单元（IMU）感知人体运动，已在健康与保健领域产生了重要应用。带标签的IMU数据稀缺，但无标签或弱标签的IMU数据可用于对人体运动进行建模。对于视频或文本模态，“预训练与适配”方法利用大量无标签或弱标签数据构建强大的特征提取器，然后针对特定任务使用有限的标签数据进行适配。然而，对于IMU数据，预训练方法尚未得到充分研究，且流程很少在域外任务上进行评估。我们提出了PRIMUS：一种用于预训练IMU编码器的方法，该方法采用一种新颖的预训练目标，并通过域内和域外数据集上的下游性能进行了实证验证。PRIMUS目标通过结合自监督、多模态和最近邻监督，有效提升了下游性能。在每类标签少于500个样本的情况下，与最先进的基线相比，PRIMUS的测试准确率提高了高达15%。为惠及更广泛的社区，我们已在github.com/nokia-bell-labs/pretrained-imu-encoders开源了我们的代码。
引用
@article{arxiv.2411.15127,
title = {PRIMUS: Pretraining IMU Encoders with Multimodal Self-Supervision},
author = {Arnav M. Das and Chi Ian Tang and Fahim Kawsar and Mohammad Malekzadeh},
journal= {arXiv preprint arXiv:2411.15127},
year = {2025}
}
备注
Presented at ICASSP 2025. Also presented under the title "PRIMUS: Pretraining IMU Encoders with Multimodal and Self-Supervised Learning" at NeurIPS 2024 TSALM Workshop (Time Series in the Age of Large Models)