SlotFM：一种基于 Slot Attention 且适用于多样下游任务的运动基础模型
机器学习
2025-09-29 v1 人工智能
摘要
可穿戴加速度计被广泛应用于手势识别、步态分析和运动监测等各种场景。然而，大多数现有的基础模型主要侧重于对常见日常活动（如移动和锻炼）进行分类，限制了它们对依赖其他信号特征的更广泛任务的适用性。我们提出了 SlotFM，一种可泛化至多样下游任务的加速度计基础模型。SlotFM 使用时频 Slot Attention，这是 Slot Attention 的一种扩展，可同时处理原始信号的时间和频率表示。它生成多个小型嵌入（slots），每个嵌入捕获不同的信号成分，使特定任务的头能够聚焦于数据中最相关的部分。我们还引入了两个捕获局部结构和频率模式的损失正则化器，它们改善了对细粒度细节的重构，并有助于嵌入保留与任务相关的信息。我们在 16 个分类和回归下游任务上评估了 SlotFM，这些任务超越了标准的人类活动识别。它在其中 13 个任务上优于现有的自监督方法，并在其余任务上取得了与最佳方法相当的结果。平均而言，我们的方法带来了 4.5% 的性能提升，展示了传感基础模型的强大泛化能力。
引用
@article{arxiv.2509.21673,
title = {SlotFM: A Motion Foundation Model with Slot Attention for Diverse Downstream Tasks},
author = {Junyong Park and Oron Levy and Rebecca Adaimi and Asaf Liberman and Gierad Laput and Abdelkareem Bedri},
journal= {arXiv preprint arXiv:2509.21673},
year = {2025}
}