SensorLM：学习可穿戴传感器的语言
机器学习
2025-06-12 v1 人工智能
计算与语言
摘要
我们提出了SensorLM，一类传感器-语言基础模型，能够通过自然语言实现可穿戴传感器数据的理解。尽管其应用广泛，但由于缺乏配对的、丰富标注的传感器-文本描述，在非结构化的真实世界可穿戴数据中，将传感器数据与语言对齐和解释仍然具有挑战性。我们引入了一种层次化描述生成流水线，旨在从传感器数据中捕获统计、结构和语义信息。该方法使我们能够构建迄今为止最大的传感器-语言数据集，包含来自超过103,000人的超过5970万小时的数据。此外，SensorLM扩展了突出的多模态预训练架构（例如CLIP、CoCa），并将它们恢复为通用架构中的特定变体。在人类活动分析和医疗保健领域的真实任务上的广泛实验验证了SensorLM在零样本识别、少样本学习和跨模态检索方面优于最先进方法。SensorLM还展示了引人入胜的能力，包括扩展行为、标签效率、传感器描述生成以及零样本泛化到未见任务。
引用
@article{arxiv.2506.09108,
title = {SensorLM: Learning the Language of Wearable Sensors},
author = {Yuwei Zhang and Kumar Ayush and Siyuan Qiao and A. Ali Heydari and Girish Narayanswamy and Maxwell A. Xu and Ahmed A. Metwally and Shawn Xu and Jake Garrison and Xuhai Xu and Tim Althoff and Yun Liu and Pushmeet Kohli and Jiening Zhan and Mark Malhotra and Shwetak Patel and Cecilia Mascolo and Xin Liu and Daniel McDuff and Yuzhe Yang},
journal= {arXiv preprint arXiv:2506.09108},
year = {2025}
}