面向精神健康研究的可穿戴运动数据的基础模型
机器学习
2025-07-01 v4 人工智能
人机交互
定量方法
摘要
预训练基础模型和变换器架构已推动大型语言模型(LLM)及其他现代AI突破的成功。然而，由于需要创新性适应，类似的健康数据建模进展仍有限。可穿戴运动数据提供了一条有价值的探索之路，因为它几乎是所有商业智能手表的核心特征，已在临床和精神健康研究中得到广泛认可，而且数据的时间序列性质与语言类似。我们介绍了预训练动作学变换器(PAT)，这是第一个面向时间序列可穿戴运动数据设计的开源基础模型。利用变换器架构和 novel 技术，如 patch 嵌入，以及在来自29,307名美国全国样本中的数据上预训练，PAT在several精神健康预测任务中实现了最先进的性能。PAT也轻巧且易于解释，使其成为精神健康研究的强大工具。GitHub: https://github.com/njacobsonlab/Pretrained-Actigraphy-Transformer/
引用
@article{arxiv.2411.15240,
title = {Foundation Models for Wearable Movement Data in Mental Health Research},
author = {Franklin Y. Ruan and Aiwei Zhang and Jenny Y. Oh and SouYoung Jin and Nicholas C. Jacobson},
journal= {arXiv preprint arXiv:2411.15240},
year = {2025}
}