SensorQA: 日常监测的问答基准
计算与语言
2025-03-04 v3 人工智能
摘要
随着传感器数据的快速增长，以人类可理解的方式有效解释和交互这些数据变得至关重要。虽然现有研究主要关注学习分类模型，但很少有研究探索最终用户如何从传感器数据中主动提取有用的见解，这通常受到缺乏合适数据集的阻碍。为了填补这一空白，我们引入了SensorQA，这是第一个由人类创建的用于日常生活监测的长期时间序列传感器数据的问答(QA)数据集。SensorQA由人类工作者创建，包含5.6K个多样且实用的查询，反映了人类的真实兴趣，并配有从传感器数据中得出的准确答案。我们进一步在这个数据集上建立了最先进AI模型的基准，并评估了它们在典型边缘设备上的性能。我们的结果揭示了当前模型与最优QA性能和效率之间的差距，凸显了新的贡献的必要性。数据集和代码可在https://github.com/benjamin-reichman/SensorQA获取。
引用
@article{arxiv.2501.04974,
title = {SensorQA: A Question Answering Benchmark for Daily-Life Monitoring},
author = {Benjamin Reichman and Xiaofan Yu and Lanxiang Hu and Jack Truxal and Atishay Jain and Rushil Chandrupatla and Tajana Šimunić Rosing and Larry Heck},
journal= {arXiv preprint arXiv:2501.04974},
year = {2025}
}