LLaSA：基于 IMU 数据的面向自然语言推理的传感器感知大语言模型
计算与语言
2025-09-23 v4
摘要
可穿戴系统可从 IMU 数据中识别活动，但往往无法解释其背后的原因或情境意义。为此，我们引入两个大规模资源：SensorCap 包含 35,960 条 IMU-caption 对，以及 OpenSQA，包含 199,701 条问答对，旨在进行因果和解释推理。OpenSQA 包括一个为科学准确性、叙事清晰性和诊断洞察力优化的精选调优分割（Tune-OpenSQA）。基于这些数据集，我们开发了 LLaSA（Large Language and Sensor Assistant），这是一套紧凑的传感器感知语言模型（7B 和 13B），能够针对基于原始 IMU 数据的开放式问题生成可解释且富有情境信息的响应。LLaSA 在基准和真实任务上超越了商业 LLMs，包括 GPT-3.5 和 GPT-4o-mini，展示了领域监督和模型对齐对于传感器推理的有效性。我们的代码仓库和数据集可在 https://github.com/BASHLab/LLaSA 查找。
引用
@article{arxiv.2406.14498,
title = {LLaSA: A Sensor-Aware LLM for Natural Language Reasoning of Human Activity from IMU Data},
author = {Sheikh Asif Imran and Mohammad Nur Hossain Khan and Subrata Biswas and Bashima Islam},
journal= {arXiv preprint arXiv:2406.14498},
year = {2025}
}