SensorChat：在长期多模态传感器交互中回答定性与定量问题
人工智能
2025-07-22 v3 人机交互
摘要
与传感系统进行自然语言交互对于解决用户的个人关切并提供其日常生活中的健康相关见解至关重要。当用户提出问题时，系统会自动分析传感器数据的完整历史记录，提取相关信息，并生成适当的回答。然而，现有系统仅限于短时（例如一分钟）或低频（例如每日步数）的传感器数据。此外，它们在处理需要精确数值答案的定量问题时表现不佳。在这项工作中，我们引入了 SensorChat，这是第一个专为使用长时间、高频时间序列数据进行日常生活监测而设计的端到端问答系统。给定跨越多天的原始传感器信号和用户定义的自然语言问题，SensorChat 能生成语义上有意义的回答，直接回应用户的关切。SensorChat 能有效处理需要数值精度的定量问题和需要高层推理以推断主观见解的定性问题。为实现这一点，SensorChat 采用了一个创新的三阶段流程，包括问题分解、传感器数据查询和答案组装。第一阶段和第三阶段利用大语言模型 (LLMs) 来解释人类查询并生成回答。中间的查询阶段则从完整的传感器数据历史中提取相关信息。实际部署表明，SensorChat 能够在云服务器上进行实时交互，同时在量化后也能完全在边缘平台上运行。全面的问答评估显示，SensorChat 在定量问题上的回答准确率比表现最佳的最先进系统高出 93%。此外，一项有八名志愿者参与的用户研究凸显了 SensorChat 在回答定性问题方面的有效性。
引用
@article{arxiv.2502.02883,
title = {SensorChat: Answering Qualitative and Quantitative Questions during Long-Term Multimodal Sensor Interactions},
author = {Xiaofan Yu and Lanxiang Hu and Benjamin Reichman and Dylan Chu and Rushil Chandrupatla and Xiyuan Zhang and Larry Heck and Tajana Rosing},
journal= {arXiv preprint arXiv:2502.02883},
year = {2025}
}
备注
To appear in IMWUT'25. Code is available at: https://github.com/Orienfish/SensorChat