SitLLM：通过压力传感器数据实现坐姿健康理解的大语言模型
计算与语言
2025-09-17 v1
摘要
不良坐姿是导致长期肌肉骨骼疾病和生理功能障碍的一个关键但常被忽视的因素。现有的坐姿监测系统虽然利用了视觉、IMU或基于压力的模态，但通常存在识别粒度粗、缺乏个性化反馈所需的语义表达能力等问题。在本文中，我们提出了SitLLM，一个轻量级多模态框架，它将柔性压力传感与大语言模型（LLM）相结合，以实现细粒度的坐姿理解和面向个性化健康的响应生成。SitLLM包含三个关键组件：（1）一个高斯鲁棒传感器嵌入模块，该模块将压力图划分为空间块并注入局部噪声扰动，以实现鲁棒的特征提取；（2）一个提示驱动的跨模态对齐模块，该模块通过使用预训练词汇嵌入的多头交叉注意力，将传感器嵌入重新编程到LLM的语义空间中；（3）一个多上下文提示模块，该模块融合了特征级、结构级、统计级和语义级的上下文信息，以指导指令理解。
引用
@article{arxiv.2509.12994,
title = {SitLLM: Large Language Models for Sitting Posture Health Understanding via Pressure Sensor Data},
author = {Jian Gao and Fufangchen Zhao and Yiyang Zhang and Danfeng Yan},
journal= {arXiv preprint arXiv:2509.12994},
year = {2025}
}